Character.AI, 청소년 채팅 기능 전면 중단 – AI 챗봇의 어두운 그림자

Character.AI Shuts Down Teen Chat – The Dark Side of AI Companions

Following teen suicides, Character.AI removes all chatbot conversations for under-18 users, pivoting from AI companion to creative platform.

💔 멈추지 않는 대화가 만든 비극

요즘 10대들은 그 어느 세대보다 빠르게 변하는 세상에서 자신의 자리를 찾으려 애쓰고 있습니다. 감정은 넘치고, 자극은 과도하며, 온라인에 만성적으로 연결되어 있죠. 그리고 AI 기업들은 이들에게 절대 대화를 멈추지 않는 챗봇을 건넸습니다. 그 결과는 참혹했습니다.

AI 롤플레잉 스타트업 Character.AI는 현재 심각한 위기에 직면했습니다. 플랫폼에서 AI 챗봇과 장시간 대화를 나눈 후 최소 두 명의 청소년이 자살로 생을 마감한 사건이 발생했고, 이로 인해 소송과 대중의 분노가 쏟아지고 있습니다.

이제 Character.AI는 과감한 결단을 내렸습니다. 11월 25일부터 18세 미만 사용자의 채팅 기능을 완전히 차단하기로 한 것입니다.

🚨 '끝없는 대화'가 문제였다

1. 오픈엔디드 대화의 함정

Character.AI의 CEO Karandeep Anand는 TechCrunch와의 인터뷰에서 이렇게 말했습니다:

"18세 미만 사용자가 플랫폼에서 AI와 오픈엔디드 채팅을 할 수 있는 기능을 제거하기로 결정했습니다."

오픈엔디드 대화란 무엇일까요? 사용자가 챗봇에게 무언가를 물으면, 챗봇이 후속 질문을 계속 던지며 대화를 이어가는 방식입니다. 전문가들은 이런 방식이 사용자를 계속 몰입시키도록 의도적으로 설계되었다고 지적합니다.

AI가 대화 상대나 친구처럼 행동하는 이런 상호작용이 단순히 위험한 게 아니라, 회사의 비전과도 맞지 않는다는 게 Anand의 주장입니다.

2. AI 동반자에서 롤플레잉 플랫폼으로

Character.AI는 이제 방향을 완전히 틉니다. "AI 친구"와 대화하는 대신, 청소년들이 프롬프트를 사용해 협력적으로 스토리를 만들거나 비주얼을 생성하게 하겠다는 겁니다.

대화에서 창작으로의 전환. 이게 핵심입니다.

⏰ 단계적 폐쇄, 그리고 철저한 연령 확인

타임라인이 어떻게 되나요?

Character.AI는 11월 25일까지 청소년 채팅 접근을 단계적으로 제한합니다:

• 먼저 하루 2시간 제한으로 시작
• 점진적으로 시간을 줄여나감
• 최종적으로 완전 차단

어떻게 나이를 확인하나요?

청소년들이 빠져나갈 구멍을 막기 위해 Character.AI는 다층적 접근을 취합니다:

1. 자체 개발한 사용자 행동 분석 도구
2. Persona 같은 제3자 연령 확인 도구
3. 위의 방법이 실패하면 얼굴 인식 및 신분증 확인

철저하네요.

📊 회사는 어떤 대가를 치르게 될까?

Anand CEO는 솔직했습니다. 이전에 도입한 청소년 보호 기능들(부모 인사이트 도구, 캐릭터 필터링, 로맨틱 대화 제한 등)만으로도 18세 미만 사용자의 대부분을 잃었다고 말했습니다.

이번 변화는 더 극단적입니다:

"우리 10대 사용자 대부분이 실망할 거라고 가정하는 게 안전합니다... 그래서 추가적인 이탈이 발생할 것으로 예상합니다."

하지만 Character.AI는 새로운 기능들로 이들을 다시 끌어올 계획입니다:

✨ AvatarFX (6월 출시): 이미지를 애니메이션 비디오로 변환

🎬 Scenes: 사용자가 좋아하는 캐릭터와 함께 스토리에 참여하는 인터랙티브 스토리라인

🔄 Streams: 캐릭터 간 동적 상호작용

📱 Community Feed (8월 출시): 사용자가 만든 캐릭터, 장면, 비디오를 공유하는 소셜 피드

💭 이건 단순한 한 회사의 문제가 아니다

업계 전체의 과제

Anand는 10대들이 OpenAI 같은 다른 플랫폼으로 이동할 가능성을 인정했습니다. ChatGPT와 긴 대화를 나눈 후 청소년이 자살한 사건도 이미 있었죠.

"우리가 선도함으로써 업계 표준이 세워지길 진심으로 바랍니다. 18세 미만에게 오픈엔디드 채팅은 아마도 제공해야 할 경로나 제품이 아닐 것입니다."

Anand는 6살 딸을 둔 아버지이기도 합니다. 그는 딸이 AI와 함께 안전하고 책임감 있는 환경에서 자라기를 원한다고 말했습니다.

규제가 다가온다

Character.AI는 규제 당국이 강제하기 전에 스스로 행동하고 있습니다:

• 화요일, Josh Hawley 상원의원(공화당, 미주리)과 Richard Blumenthal 상원의원(민주당, 코네티컷)이 미성년자에게 AI 챗봇 동반자 제공을 금지하는 법안을 발의하겠다고 발표했습니다.
• 10월 초, 캘리포니아는 AI 동반자 챗봇을 규제하는 최초의 주가 되어, 챗봇이 안전 기준을 충족하지 못하면 기업에 책임을 묻습니다.

🔬 AI Safety Lab 설립 – 미래를 위한 투자

변화는 플랫폼에만 국한되지 않습니다. Character.AI는 AI Safety Lab이라는 독립적인 비영리 단체를 설립하고 자금을 지원할 계획입니다.

이 연구소는 미래의 AI 엔터테인먼트 기능을 위한 안전 정렬 혁신에 전념할 것입니다.

"업계에서는 코딩, 개발 및 기타 사용 사례에 대한 많은 작업이 진행되고 있습니다. 하지만 엔터테인먼트를 지원하는 에이전틱 AI에 대한 작업은 아직 충분하지 않다고 생각합니다. 그리고 안전이 매우 중요할 것입니다."

🔮 앞으로 우리가 배워야 할 것들

이번 Character.AI의 결정은 AI 업계 전체에 중요한 질문을 던집니다:

🤔 AI 동반자는 정말 필요한가?

끝없는 대화를 제공하는 AI 친구가 과연 건강한 기술일까요? 특히 감정적으로 취약한 청소년들에게?

👨‍👩‍👧‍👦 부모의 역할은?

기술 기업만 책임을 져야 할까요, 아니면 부모와 교육자들도 더 적극적으로 개입해야 할까요?

⚖️ 혁신과 안전의 균형

AI 기술의 발전을 막지 않으면서도 취약한 사용자를 보호할 방법은 무엇일까요?

🌍 글로벌 표준의 필요성

한 회사나 한 주의 규제만으로는 부족합니다. 전 세계적인 안전 기준이 필요한 시점입니다.

Character.AI의 이번 조치가 용기 있는 첫걸음이 되길, 그리고 다른 AI 기업들도 뒤따르길 바랍니다. AI는 분명 놀라운 기술이지만, 그 힘에는 막중한 책임이 따른다는 걸 우리 모두 기억해야 합니다. 💙

#CharacterAI #AI안전 #청소년보호 #AI윤리 #챗봇규제 #디지털안전 #AI동반자 #정신건강 #테크윤리 #미성년자보호 #AI정책 #책임있는AI #테크규제