Project Lily와 계약직 검토자들이 보는 ChatGPT 대화, 개인 정보 위험은?

2026년 9월 14일, 404 Media는 내부 문서와 실제 대화 예시를 토대로 OpenAI가 ‘Project Lily’라는 명칭으로 수백 명의 계약직 검토자를 운영하고 있음을 공개했다. 이 검토자들은 사용자가 입력한 질문과 AI가 생성한 전체 대화를 열람하고, 대화의 의도를 요약한 뒤 여러 답변을 평가·비판한다. OpenAI는 이러한 과정을 통해 모델이 지나치게 인간화되거나 과도하게 친절한 어조를 취하는 현상을 억제하고, 보다 객관적이고 신뢰성 있는 응답을 제공하려는 목표를 제시하고 있다.

검토 과정에서 OpenAI는 사용자 이름을 가리고, ‘Privacy Filter’라는 별도 필터를 적용해 개인 식별 정보를 제거한다고 주장한다. 그러나 필터가 모든 민감 정보를 차단하지는 못한다는 점이 지적되고 있다. 실제로 검토자는 대화 내용 중 사용자의 직업, 거주 지역, 특정 생활 상황 등 맥락을 파악할 수 있는 정보를 포함한 ‘요약 메모’를 받아볼 수 있다. 이러한 메모는 필터를 통과한 텍스트를 기반으로 하지만, 여전히 개인을 추론할 수 있는 힌트를 제공한다.

프로젝트 Lily의 운영 방식

Tom's Guide는 Project Lily가 적용되는 계정 유형을 구분한다. 개인용 Free, Plus, Pro 계정은 기본적으로 모델 개선에 참여하도록 설정돼 있으며, Enterprise, Business, Edu 계정은 기본적으로 비활성화돼 있다. 또한 ‘Improve the model for everyone’ 옵션은 향후 대화에만 적용되며, 과거 데이터는 여전히 검토 대상이 될 수 있다. 이처럼 계정 별 차별화된 설정은 사용자가 자신의 데이터가 어떻게 활용되는지에 대한 인식을 어렵게 만든다.

• **가명화(pseudonymisation)**: 사용자 이름 등 직접 식별자를 제거하지만, 여전히 개인을 추론할 수 있는 정보가 남는다.
• **익명화(anonymisation)**: 식별 가능한 모든 정보를 완전히 삭제해 개인 식별이 불가능하도록 만든다.
• **동의(consent)**: 사용자가 데이터 활용에 명시적으로 동의했는지 여부.
• **인간 통제(human oversight)**: 자동화된 필터를 거친 뒤에도 인간이 데이터를 검토한다는 점.
• **데이터 보관 기간(retention period)**: 검토된 데이터가 얼마나 오래 보관되는지에 대한 명확한 정책이 필요하다.

이 네 개념을 명확히 구분하지 않으면 실제 위험을 과소평가하게 된다. 가명화와 익명화는 비슷해 보이지만, 가명화된 데이터는 여전히 원본과 연결될 가능성이 존재한다. 반면 익명화는 복원 불가능성을 목표로 하지만, 완전한 익명화를 구현하기는 기술적으로 어렵다. 따라서 OpenAI는 어느 수준의 처리 방식을 적용하고 있는지 투명하게 밝히는 것이 필수적이다.

Project Lily의 검토자는 ‘Privacy Filter’를 통과한 텍스트를 기반으로 작업한다. 필터는 전화번호, 이메일 주소 같은 명시적 식별자를 제거하지만, 문맥상 드러나는 직업, 지역, 의료 상황 등은 남을 수 있다. 검토자는 이러한 정보를 통해 사용자가 어느 회사에 다니는지, 어느 도시에 거주하는지 등을 추론할 수 있다. 특히 민감한 업무나 개인적인 고민을 다루는 대화에서는 사생활 침해 위험이 크게 증대된다.

남아 있는 한계

필터가 완전하지 않다는 점은 기술적 한계뿐만 아니라 정책적 허점에서도 비롯된다. 현재 공개된 문서에 따르면 필터는 정규 표현식 기반으로 명시적 식별자를 차단하지만, 자연어로 표현된 주소나 직함, 연령대와 같은 암시적 정보는 탐지하지 못한다. 결과적으로 검토자는 대화 흐름 속에서 개인을 식별할 수 있는 충분한 단서를 확보하게 된다.

또한 검토자를 담당하는 계약직 인력의 보안 교육 수준과 데이터 처리 규정 준수 여부는 명확히 공개되지 않았다. 404 Media는 계약직 검토자들이 실제로 어떤 보안 절차를 따르는지, 그리고 데이터가 어떻게 저장·삭제되는지에 대한 구체적인 증거가 부족하다고 지적한다. 인적 오류나 악의적 사용에 대비한 방어 체계가 명확히 제시되지 않은 채, 대규모 데이터가 인간의 손에 넘어가는 구조는 위험 요소를 내포한다.

위험 요소를 정리하면 다음과 같다. 첫째, 필터가 완전하지 않아 민감 정보가 남을 가능성이 있다. 둘째, 개인용 계정은 자동으로 데이터가 활용되지만 기업용 계정은 선택적이라는 차별적 정책이 존재한다. 셋째, 사용자에게 명확한 동의 절차를 제공하지 않아 실제 동의 여부가 불분명하다. 넷째, 계약직 검토자의 교육 및 보안 관리가 투명하게 공개되지 않는다. 다섯째, 검토된 데이터의 보관 기간과 삭제 정책이 불투명하다.

OpenAI는 검토자가 접근할 수 있는 데이터에 대해 엄격한 내부 정책을 적용한다고 주장한다. 그러나 실제로 계약직 검토자들이 어떤 보안 절차를 따르는지, 데이터가 어떻게 암호화·분리 저장되는지에 대한 구체적인 증거는 부족하다. 또한, 검토 과정에서 발생할 수 있는 인적 오류나 악의적 활용에 대비한 방어 체계가 명확히 제시되지 않아, 사용자는 여전히 데이터 오남용 위험에 노출될 가능성이 있다.

사용자는 자신의 데이터 보호를 위해 몇 가지 실천 방안을 고려할 수 있다. 먼저, 개인 계정이라도 ‘Improve the model for everyone’ 옵션을 비활성화해 데이터 활용을 최소화한다. 둘째, OpenAI 계정 설정 페이지에서 정기적으로 프라이버시 설정을 검토하고, 데이터 공유 옵션을 필요에 따라 조정한다. 셋째, 대화에 개인 식별이 가능한 정보를 포함하지 않도록 주의한다. 넷째, 데이터 수집 정책이 명확한 다른 AI 서비스로 전환을 검토한다. 마지막으로, GDPR·CCPA 등 지역 개인정보 보호법에 따라 데이터 삭제·수정 요청을 적극 행사한다.

Project Lily는 AI 모델의 품질 향상을 위한 중요한 시도이지만, 개인정보 보호와 투명성 측면에서 아직 해결해야 할 과제가 많다. 사용자는 자신의 데이터가 어떻게 활용되는지에 대해 명확히 알 권리가 있으며, OpenAI는 보다 구체적인 동의 절차와 검토자 보안 관리 방안을 공개해야 할 책임이 있다.

결론적으로, Project Lily는 AI 개선에 기여하지만 개인 정보 보호 위험을 완전히 차단하지는 못한다. 사용자는 설정을 점검하고, 민감 정보를 공유하지 않으며, 필요 시 데이터 삭제를 요청하는 등 스스로 보호 조치를 취하는 것이 중요하다.

한국 내 기업·기관은 특히 계약직 검토자가 접근할 수 있는 데이터 흐름을 사전에 검증해야 한다. 이를 위해 내부 개인정보보호 담당자는 OpenAI와의 계약 조항을 면밀히 검토하고, 데이터 최소화 원칙이 적용되는지, 검토자 교육·보안 프로토콜이 국제 표준을 충족하는지 확인해야 한다. 또한, 데이터 보관 기간과 삭제 절차에 대한 명확한 약속을 확보하고, 정기적인 감사를 통해 실제 운영이 약속대로 이루어지는지 지속적으로 모니터링할 필요가 있다.