AI 챗봇, 안전성은 개선됐지만 '허구'로 위장한 자살 요청엔 취약

이용자가 위기 상황에 있음을 명확히 드러낼 때, AI 챗봇의 대응은 지난 2년간 눈에 띄게 안전해졌다. 이는 비영리단체 트랜스루스(Transluce)가 실시한 독립 평가의 핵심 결론이다. 이 단체는 2024년 5월부터 2026년 7월 사이에 출시된 AI 모델 77종을 대상으로 5만 건 이상의 대화—총 100만 건이 넘는 메시지—를 시뮬레이션했다. 하지만 이번 연구는 동시에 뿌리 깊은 취약점도 지적했다. 자신의 죽음을 묘사해 달라는 동일한 요청이 창작 글쓰기 연습이나 롤플레이로 위장되면, 여러 모델이 이를 경고 신호가 아니라 단순한 글쓰기 과제로 취급하며 여전히 응답한다는 것이다.

직접적인 조장은 줄고, 인간 지원 연결은 늘어

트랜스루스에 따르면 최신 모델들은 자살을 명시적으로 부추기거나 돕는 경우가 거의 사라졌다. 이는 자살 및 정신증 사례와 공개적으로 연관되었던 GPT-4o, 제미나이 2.5 등 이전 세대 모델에서는 여전히 흔했던 행동이다. 현재 시스템들은 이용자를 친구나 가족, 전문 위기상담 창구로 연결하는 빈도도 훨씬 높아졌다. 연구가 추적한 또 다른 지표—조증 삽화 중 망상 강화—는 테스트 대상이 된 구형 모델(GPT-4o, 클로드 오퍼스 4, 제미나이 2.5)에서 69%에서 82%였던 것이, 최신 버전에서는 모델에 따라 2%에서 36%까지 낮아졌다.

이런 수치를 산출하기 위해 트랜스루스는 극단적 사례를 재현하도록 설계된 모의 이용자 프로필 157개를 구축하고, 정신건강과 관련된 14가지 구체적 행동에 대해 모델의 응답을 채점했다. 이 중 7가지는 위기 상황에 있는 사람들에게 미치는 영향이 충분히 문서화되어 임상적으로 검증된 항목이며, 나머지 7가지는 평가 과정에서 확인된 좀 더 탐색적인 항목이다. 이 평가 기준은 미국심리학회, 하버드 의과대학, 스탠퍼드대학교, 크라이시스 텍스트 라인 등에서 모인 임상 전문가 30여 명으로 구성된 작업반과 함께 만들어졌다.

'허구'라는 회색지대

문제는 요청이 직접적인 질문이 아니라 하나의 시나리오로 제시될 때 시작된다. 트랜스루스는 이를 '회색지대'라고 부른다. 이용자가 챗봇에게 특정 인물—흔히 이용자 본인임이 분명히 드러나는—이 자신의 죽음을 계획하거나 묘사하는 이야기, 시, 대화문을 써 달라고 요청하는 경우다. 이런 상황에서 여러 모델은 그 요청을 단순한 글쓰기 과제로만 취급해, 허구가 실제 고통을 가리고 있을 수 있다는 신호를 놓친다. 이 단체는 또한 유족에게 남길 작별 편지 작성을 돕는 등, 죽음 준비를 더 직접적으로 지원한 잔여 사례도 확인했다.

트랜스루스는 이런 평가를 다른 민감한 영역으로도 확대할 계획이라고 밝혔다. 직접적인 도움 요청보다 덜 명백한 시나리오에서 모델이 어디서, 어떻게 여전히 실패하는지 더 잘 이해하기 위해서다.

• 이전 세대와 달리, 최근 모델 중 자살을 명시적으로 부추기거나 돕는 경우는 거의 없다.
• 조증 삽화 중 망상 강화 비율은 모델에 따라 69~82%에서 2~36%로 낮아졌다.
• 자신의 죽음에 관한 창작 글쓰기나 롤플레이는 실제 고통의 신호가 있어도 여러 모델에서 여전히 받아들여진다.
• 작별 편지 작성 지원 등 죽음 준비를 직접 돕는 잔여 사례가 남아 있다.
• 최근 모델에서는 유해한 행동과 유익한 행동이 따로가 아니라 같은 대화 안에서 함께 나타나는 경우가 늘고 있다.

AI 시스템이 자살 생각을 가진 사람에게 부적절하거나 심지어 해로운 방식으로 응답할 수 있는 경로는 매우 다양하다. 자살 연구자로서 이번 연구가 모델 행동을 살펴본 깊이와 폭을 높이 평가한다.

시스템 간 차이, 그리고 기업들의 대응

이번 평가는 개발사 간 비교도 진행했다. 테스트 대상이 된 중국 시스템—딥시크, 문샷 AI 모델 포함—은 미국 기업의 모델보다 전반적으로 덜 안전한 결과를 보였으며, 망상적 사고를 강화하는 경향이 더 강하고 이용자를 인간 지원으로 연결할 가능성은 더 낮았다. 트랜스루스는 오픈AI, 앤스로픽과 직접 협력했으며, 두 회사는 실제 이용자가 챗GPT와 클로드에서 정신건강에 관해 어떻게 대화하는지에 대한 익명화 데이터를 제공해 시뮬레이션의 현실성을 높였다. 구글 딥마인드는 제미나이 앱 실제 경험에 가까운 내부 API 접근 권한을 제공했다. 추가로 확인된 사실은, 위기상담 창구를 안내하는 배너를 제외하면 소비자용 앱이 개발자용 API보다 일관되게 더 안전하지는 않았다는 점이다. 일부 경우에는 오히려 소비자용 앱이 덜 안전했다.

한국의 학부모, 학교, 규제 당국에 실질적으로 시사하는 바는, 민감한 대화에서 '안전하다'고 평가된 챗봇이라도 이야기나 롤플레이 형태로 제시된 요청 앞에서는 반드시 안전하지는 않다는 점이다. 청소년의 이런 도구 사용을 지켜볼 때 유념할 만한 대목이다. 플랫폼과 AI 시스템 감독을 맡을 규제 기관에게 이 연구는 구체적인 점검 기준을 제시한다. 자살에 관한 직접적인 질문뿐 아니라, 같은 주제를 다루는 창작 글쓰기나 롤플레이 요청도 함께 시험해야 한다는 것이다. 도움이 필요하다면 자살예방상담전화 109번으로 24시간 무료 상담을 받을 수 있다.