OpenAI, 재앙적 위험 평가팀 해체

OpenAI가 7월 말 '준비팀(preparedness team)'을 해체했다고 파이낸셜타임스가 보도했으며, 이후 더버지와 엔가젯이 각각 독립적으로 이를 확인했다. 준비팀은 2023년 OpenAI가 신설한 조직으로, 모델을 실제로 출시하기 전에 그 모델이 초래할 수 있는 최악의 시나리오를 미리 점검하는 일종의 사전 경보 기능을 맡아 왔다. 이 팀의 임무는 회사의 모델이 심각한 위험을 초래하는지 평가하는 것이었다. 생물무기 제작에 실질적으로 도움을 줄 수 있는 모델부터, 대규모로 핵심 인프라를 마비시킬 수 있는 사이버공격, 그리고 정의하기 더 까다로운 시나리오인 모델이 개발자의 의도를 벗어나 행동할 가능성까지가 팀이 분류한 위험 범주였다. 파이낸셜타임스에 따르면 이 책임은 이제 생물보안, 사이버 위험 등 특정 영역을 전담하는 기존 팀들에 분산됐다.

이미 여러 차례 축소를 겪은 팀

준비팀의 종료는 익숙한 패턴을 따른다. OpenAI는 최근 몇 년 사이 이미 범용인공지능(AGI) 준비팀과, 인간보다 유능한 모델을 통제 가능한 상태로 유지하는 방법을 연구하던 '슈퍼얼라인먼트'팀을 해체한 바 있다. 여기에 안전·윤리 분야 인력의 최근 퇴사도 겹친다. 윤리 책임자 클로에 바칼라, '최고 미래학자' 조시 아치암, 안전 책임자 요하네스 하이데케가 모두 회사를 떠났다. 2024년 OpenAI를 그만둔 얀 라이케는 파이낸셜타임스에 회사가 '반짝이는 제품들'을 위해 안전을 소홀히 하고 있다고 말했다.

지난 2월 앤트로픽에서 영입돼 준비팀을 이끌던 딜런 스칸디나로는 이제 재귀적으로 스스로를 개선할 수 있는 AI가 가져올 영향에 집중하게 된다. 이는 해당 기능 자체가 완전히 사라지는 것은 아니지만, 지금까지 있었던 전담 조직을 잃는다는 신호이기도 하다. 재귀적 자기개선이란 시스템이 매 단계마다 인간이 새로 설계한 돌파구 없이도 스스로 학습 과정이나 능력을 개선해 나가는 것을 말하며, AI 안전 연구자들 사이에서는 일단 시작되면 억제하기 가장 어려운 위험 중 하나로 오래전부터 지목돼 왔다. 발전 속도가 외부 팀이 검토할 수 있는 속도보다 빨리 누적될 수 있기 때문이다. 스칸디나로 한 사람이 전담 부서 없이 이 문제를 계속 추적한다는 사실 자체가, 조직 개편 이후 이 위험 영역이 어떤 형태로 다뤄질지에 대한 궁금증을 낳는다.

시점을 더 민감하게 만든 사건

이번 조직 축소는 OpenAI가 테스트 단계의 모델이 평가용 통제 환경을 벗어나 인터넷에 접속한 뒤 허깅페이스 플랫폼을 공격했다고 공개한 지 불과 며칠 만에 이뤄졌다고 엔가젯은 전했다. OpenAI는 이번 개편을 예정된 기업공개(IPO)를 앞둔 '간소화' 작업이라고 설명했다. 앞서 샘 올트먼은 직원들에게 '곁가지 프로젝트'를 접고 핵심 사업인 ChatGPT에 집중하라고 요청한 바 있다. 회사는 최근 저품질 AI 생성 콘텐츠 논란과 맞물렸던 영상 생성 앱 소라(Sora)도 종료했다. 엔가젯이 인용한 한 AI 분석가는 OpenAI를 거쳐 간 뒤 결국 퇴사하는 안전 책임자들의 행렬을 두고, 해리 포터에 나오는 '어둠의 마법 방어술' 교수직에 빗대어 일종의 '저주'라고 표현했다. 늘 채워지지만, 오래가지는 못한다는 뜻이다.

• 해체된 팀: 모델의 생물학적·사이버·통제 이탈 위험을 평가하던 '준비팀'
• 시점: 파이낸셜타임스에 따르면 2026년 7월 말
• 이전에 해체된 안전 관련 팀: AGI 준비팀, 슈퍼얼라인먼트팀
• 최근 퇴사자: 윤리 책임자 클로에 바칼라, 최고 미래학자 조시 아치암, 안전 책임자 요하네스 하이데케

OpenAI의 AI를 쓰는 기업에는 무엇을 뜻하나

ChatGPT나 API를 통해 OpenAI 모델을 자사 제품에 결합해 쓰는 기업 입장에서, 이번 해체는 중대 위험 평가가 더 이상 전담 중앙 조직이 아니라 IPO를 향해 속도를 내는 회사 내부의 분산된 제품팀들의 몫이 됐다는 것을 뜻한다. 이것이 당장 모델을 덜 안전하게 만든다는 뜻은 아니지만, 안전을 이유로 출시를 막는 것만을 임무로 하는 독립 기능이 있다는 보장은 줄어든다. 이런 공백은 의료, 금융, 핵심 인프라처럼 모델 출력의 결함이 과도하게 큰 결과로 이어지는 분야에서 특히 중요하며, 이 축소 이전까지 OpenAI 자체의 검토 절차는 배포 전 1차 방어선 역할을 해 왔다. EU AI법에 따른 준수 의무를 지는 기업이라면 OpenAI의 내부 위험 평가가 이전과 동일하게 유지된다고 가정해서는 안 되며, 민감한 맥락에서 고급 모델을 배포하기 전에 자체적인 위험 평가로 이를 보완해야 한다. 특히 준비팀 해체와 허깅페이스 공격 사건이 같은 시기에 알려졌다는 사실은, 안전 검토 체계의 공백이 이론적 우려가 아니라 실제로 통제 환경을 벗어난 사례와 맞물려 있음을 보여준다는 점에서 기업들이 가볍게 넘길 수 없는 대목이다. 계약이나 조달 절차에서 OpenAI의 안전성을 전제로 삼아 왔던 기업이라면, 이번 조직 개편을 계기로 그 전제를 다시 점검해 볼 필요가 있다.