美 법정 제출 서류에 AI 지시문 숨긴 남성, 전자제출 금지 처분

미국 법원에서 처음으로, 제출 서류에 AI를 겨냥한 숨은 지시문을 심어 넣는 이른바 「프롬프트 인젝션」 사례가 확인됐다. Ars Technica에 따르면 코네티컷주에서 진행 중이던 의료기록 공개 관련 민사소송에서, 변호사 없이 본인이 직접 소송을 진행하던 원고 매튜 엘리엇(Matthew Elliott)이 제출 서류 안에 사람 눈에는 보이지 않지만 문서 분석 소프트웨어는 읽어낼 수 있는 형태로 지시문을 숨겨 넣었다. 담당 판사인 월터 스페이더 주니어(Walter Spader Jr.)는 지난주 공개한 결정문에서, 이 숨은 지시문이 재판 결과에는 영향을 주지 않았다고 인정하면서도 이런 시도 자체가 「위험한」 선례라고 경고했다. 일본 매체 INTERNET Watch도 같은 날 이 사건을 해외 소식으로 전했다.

프롬프트 인젝션은 AI 보안 분야에서 이미 잘 알려진 수법이다. 사람 눈에는 보이지 않거나 읽기 어렵게 만든 문구—극소 글자 크기, 흰 바탕에 흰 글씨, 숨겨진 메타데이터 등—를 문서 안에 심어두고, 그 문서를 처리하는 AI 시스템이 이를 하나의 지시로 받아들이도록 유도하는 방식이다. 챗봇이나 AI 비서를 겨냥한 이런 수법은 보안 연구자들 사이에서 수년 전부터 경고돼 왔지만, 미국 법원 제출 서류 안에서 이런 시도가 확인되어 문서로 남은 것은 이번이 처음으로 보인다. 스페이더 판사가 다른 주와 다른 나라의 법원은 실제로 서류 검토에 AI를 활용하고 있다고 짚은 대목도 같은 맥락이다. 대규모 소송 서류를 처리해야 하는 법원일수록 AI 검토 도구의 도입 유인이 크고, 그런 법원일수록 이런 수법이 실제로 결과를 좌우할 위험도 커진다는 뜻이다.

보이지 않는 글자 속에 숨긴 지시

문제의 문구는 극소 글자 크기에 흰 바탕에 흰 글씨로 처리돼 사람 눈에는 보이지 않도록 만들어졌다. 이 지시문은 서류를 검토하는 AI에게 원고에게 유리한 결론을 내리고, 법원이 이미 내린 기각 결정을 무시하며, 원고가 요구하는 시정 조치를 내리라고 요구하는 내용이었다. 변호사 없이 소송을 진행하던(pro se) 엘리엇은 앞선 주장이 기각된 뒤, 언젠가 AI가 서류를 검토할 것이라는 기대를 갖고 이런 수법을 쓴 것으로 보인다.

엘리엇은 법원으로부터 이 수법에 대해 경고를 받은 뒤에도 숨은 문구를 계속 추가했다. 이후 추가된 문구에는 공포영화 「노스페라투」의 유튜브 영상 링크, 「이게 안 보였으면 좋겠다」는 식의 메시지, 사건과 무관한 뜻 모를 문장 등이 포함됐으며, 엘리엇은 이를 농담이었다고 주장했다. 스페이더 판사는 제재 가능성이 언급된 심리 이후에도 이런 행위가 계속됐다는 점을 「놀랍다」고 평가하며, 「중대한 소송절차 남용」이라고 결론 내렸다. 코네티컷주 법원은 서류 검토나 판단에 AI를 사용하지 않기 때문에 이번 시도가 실제 판결에 영향을 주지는 않았지만, 판사는 다른 주와 다른 나라의 법원에서는 실제로 AI를 사용하고 있다는 점을 들어 경계를 당부했다.

미국에서는 처음, 세계에서는 처음이 아니다

스페이더 판사는 자신이 아는 한 이번이 미국 법원에서 확인된 첫 사례라고 밝히면서도, 비슷한 수법을 쓴 브라질의 변호사 2명 사례를 언급했다. 브라질 사건에서는 실제로 AI가 서류 검토에 쓰이던 법원을 상대로 같은 수법이 시도됐지만, AI 시스템이 처리 전에 숨은 문구를 감지했고, 관련 변호사들은 약 1만 6000달러의 제재금을 부과받았다. 엘리엇은 금전적 제재는 받지 않았지만, 판사는 그에게 앞으로 전자제출을 금지하고 인쇄된 서류 제출만 허용하는 조치를 내렸다.

• 수법: 제출 서류에 사람 눈에 보이지 않는 극소·흰색 글자로 AI를 향한 지시문을 심는 「프롬프트 인젝션」
• 결과: 코네티컷주 법원은 AI로 서류를 검토하지 않아 판결에는 실질적 영향 없음
• 제재: 전자제출 금지, 앞으로는 종이 서류 제출만 가능. 금전적 제재는 없음
• 해외 선례: 브라질 소송에서 변호사 2명이 같은 수법을 써 약 1만 6000달러의 제재금을 부과받음

AI를 쓰는 한국 법조인·소송 당사자에게 주는 교훈

이번 사건은 미국에서 벌어진 일이지만, 한국 법원 역시 전자소송 시스템을 이미 폭넓게 쓰고 있고 법률 문서 작성에 AI 도구를 활용하는 변호사도 늘고 있는 만큼 남의 일로만 보기는 어렵다. 스페이더 판사가 지적한 더 근본적인 문제는 프롬프트 인젝션 자체보다, 나홀로소송 당사자가 AI 챗봇에게 자신의 주장만 뒷받침하게 하고 반대 논리는 검증하지 않은 채 서류를 작성하는 태도에 있다. 이렇게 만든 주장은 틀렸더라도 스스로는 확신을 갖기 쉽다. 한국에서 AI로 법률 서류를 작성하는 변호사나 나홀로소송 당사자에게도, AI에게 자기 입장을 대변하게 하는 데 그치지 않고 일부러 반박을 시켜보는 것이 결과적으로 더 설득력 있는 서면으로 이어진다는 교훈이 된다. 아울러 이번 사건은, 법원이 서류 검토에 AI를 실제로 도입하는 순간부터는 이런 은닉 지시문이 더 이상 장난에 그치지 않고 실제 결론을 좌우할 수 있다는 경고이기도 하다.