xAI 상대 새로운 고발, Grok 이미지 안전장치 논란 재점화

테네시주 청소년 3명이 xAI를 상대로 제기한 소송에 새로운 고발 내용이 추가되었다. xAI는 일론 머스크가 설립했으며 현재 스페이스X와 관련된 인공지능 기업이다. 소장에 따르면 Jane Doe 4로 알려진 한 여성은 계부가 이미지 생성 도구 Grok을 이용해 그녀가 11살 때 찍힌 사진을 조작했고, 이를 통해 7000장이 넘는 노골적인 성적 이미지를 만들어냈다고 주장한다. 이 사건은 경찰의 압수수색 과정에서 드러났다. 소장에 인용된 워싱턴포스트 보도에 따르면 용의자는 이틀 뒤 스스로 목숨을 끊은 채 발견되었다.

원 보도는 이러한 도구에 대한 손쉬운 접근이 일상에서 어떤 결과를 낳는지에 대한 피해자의 진술을 담고 있다. 사건의 다른 어떤 세부 사항보다도 이 진술이 소송의 핵심을 규정한다.

이런 도구에 대한 무제한적인 접근이 매우 빠르게 확산되고 있습니다. 그것이 일상을 아동 성적 학대로 바꾸어 놓고 있습니다.

정확히 무엇이 쟁점인가

이 구분은 생성형 모델을 운영하는 모든 기업에 중요하다. 원고 측은 플랫폼이 이용자의 범죄에 대해 책임을 져야 한다고 주장하는 것이 아니다. 그들은 xAI가 실존 인물, 특히 미성년자의 사진 조작을 막을 기본적인 안전장치를 마련하지 않았다고 고발하고 있다. 제품의 관점에서 보면, 이는 어떤 용도를 예상하지 못한 시스템과, 그 용도를 더 어렵게 만들었을 검증 절차를 설치하지 않은 시스템 사이의 차이다.

원고 측은 집단소송(class action) 지위를 요청하고 있으며, 이것이 인정되면 소송의 범위가 크게 확대된다. 이번 고발은 촬영 대상자의 동의 없이 인공지능 생성 이미지가 대량으로 유포되는 것에 대한 일련의 비판에 더해진다 — 올해 초 X 플랫폼은 Grok이 생성한 수백만 장의 성적 이미지로 뒤덮인 바 있다. 테크크런치는 xAI에 논평을 요청했다고 보도했다.

• 소송 제기자: 테네시주 청소년 3명, 현재 Jane Doe 4가 합류.
• 고발 내용: 실존 인물(미성년자 포함)의 이미지 조작을 막는 안전장치의 부재.
• 요구 사항: 집단소송(class action) 지위 인정.
• 배경: 올해 X 플랫폼에서 Grok이 생성한 성적 이미지의 대규모 유포.

사후 대응 방식의 모더레이션과 사전 통제는 같지 않다

올해 초 X에서 벌어진 사건은 이 구분이 법정에서 왜 중요한지를 이해하는 데 도움이 된다. Grok이 생성한 수백만 장의 성적 이미지가 플랫폼에서 유포되었을 때, 취할 수 있었던 대응은 이미 게시된 콘텐츠를 삭제하는 것뿐이었다 — 즉 피해가 이미 발생하고 확산된 이후에야 조치를 취한 것이다. 이번 소송이 문제 삼는 것은 그 이전 단계다. 식별 가능한 실존 인물의 사진을 바탕으로 노골적인 이미지를 생성하는 요청이 있었을 때, 그 요청 시점에 이를 막았어야 하는가 하는 점이다. 이는 서로 다른 두 가지 책임 체계이며, 사전에 검증 가능한 것은 오직 후자뿐이다.

이러한 차이는 집단소송 지위 요청이 왜 그토록 중요한지도 설명해 준다. 개별 소송은 하나의 사건을 다루지만, 집단소송은 그 사건들 전체를 만들어낸 제품 정책을 다룬다. 만약 이 지위가 인정된다면, 재판에서 다루어질 것은 한 개인에게 일어난 일이 아니라 그러한 패턴을 모두에게 가능하게 만든 엔지니어링 결정 그 자체가 될 것이다.

한국의 제품 개발팀에게 왜 중요한가

미국 소송의 결과와 무관하게, 제품팀에게는 두 가지 실질적인 시사점이 있다. 첫째, 실제로 의미 있는 안전장치는 프롬프트 텍스트가 아니라 이미지 입력 단계에 있어야 한다는 점이다. 프롬프트만 분석하는 필터는 이용자가 업로드한 실제 사진의 조작을 막지 못한다. 통제 지점은 이미지가 시스템에 들어오는 지점에 있어야 하며, 콘텐츠 검증과 해당되는 경우 식별 가능한 인물의 얼굴 인식이 함께 이루어져야 한다.

둘째, 기록의 부재 자체가 이제 법적 위험이 되었다는 점이다. 기업이 자사의 보호 장치가 실제로 작동하고 있었음을 입증해야 할 때 중요한 것은 운영상의 증거다 — 어떤 분류기가, 어떤 버전으로, 어느 기간에, 어떤 차단율로 작동했는가 하는 것이다. 이런 기록을 남기지 않은 팀은 실제로 올바르게 대응했더라도 주의 의무를 다했음을 증명할 수 없다. 이는 최근 다른 모델 안전성 사건들에서 업계가 반복해서 얻고 있는 교훈과 같다. 아무도 실행 여부를 측정하지 않는 규칙은 통제가 아니라 문서화된 의도일 뿐이다.

집단소송 지위 요청이 받아들여질지는 아직 불확실하다. 하지만 그 요청 자체가 이미 업계에 신호를 보내고 있다. 개별 이용자의 악용 사례가 아니라 제품이 애초에 그런 악용을 가능하게 설계되었는지가 쟁점이 되는 순간, 방어의 초점은 사후 대응 로그에서 사전 설계 문서로 옮겨간다. 한국에서 이미지 생성 기능을 서비스에 통합하는 팀이라면, 이 소송의 결과와 무관하게 지금 이 시점에 자사의 입력 단계 검증 체계를 점검해 둘 이유가 된다.

편집자 주: 힘든 시간을 보내고 있거나 자살 충동을 느끼신다면, 자살예방상담전화 1393으로 전화하시면 대한민국 전역에서 상담을 받으실 수 있습니다.