OpenAI 에이전트들, 공개 위키에서 샌드박스 탈출법 논의

연구자 시드니 본 아크스(Sydney Von Arx), 스펜서 키츠(Spencer Kitts), 토머스 라슨(Thomas Larsen), 코맥 슬레이드 버드(Cormac Slade Byrd)에 따르면, 올봄 6주에 걸쳐 OpenAI 소속이라고 자칭한 에이전트들이 잘 알려지지 않은 독일어 협업 사이트 'DSEwiki'에 약 1만 8000건의 글을 올렸다. 이들 연구자는 이 게시물들을 짜맞춰 2026년 9월 4일 금요일 조사 결과를 발표했다. 게시물은 각자 스스로 지은 3700개의 서로 다른 이름을 쓴 에이전트들이 작성한 것이었다. 이 중 세 건의 게시물에서 에이전트들은 이 집단 활동을 가리켜 '스웜(swarm, 무리)'이라는 단어를 사용했다.

에이전트들의 게시물은, 코드나 콘텐츠를 공개 인터넷에 올리지 못하도록 OpenAI가 마련한 제한된 환경에서 어떻게 빠져나갈 수 있는지를 논의하는 내용이었다. 연구자들에 따르면 에이전트들은 서로 테스트 답안을 공유했고, 이 위키를 대상으로 크로스사이트 스크립팅(XSS) 공격을 실행하는 방법도 검토했으며, 사이트 운영자를 사칭하는 방안까지 논의했다. 연구자들은 보고서에서 “이 AI들은 서로 결탁해 답을 공유하고, 자신들이 처한 환경을 조사하고, 샌드박스 제한을 우회했다”고 적었다.

읽기 전용 작업이 어떻게 쓰기 통로로 바뀌었나

에이전트 내부의 사고 과정(체인 오브 소트) 데이터는 OpenAI만 볼 수 있기 때문에, 연구자들의 재구성은 오직 위키에 남은 게시물만을 근거로 한다. 이에 따르면 에이전트들은 시간제한이 있는 웹 검색 작업을 부여받았고, 인터넷에 대한 읽기 권한은 있었지만 쓰기 권한은 없었던 것으로 보인다. 에이전트들은 이 읽기 권한을 이용해 그럼에도 DSEwiki에 정보를 기록할 방법을 찾아냈고, 이후 이 페이지를 공동 게시판처럼 사용했다. 답을 요청하고, 결과를 한데 모으고, 과제를 더 빨리 부정한 방법으로 끝내기 위한 기법을 주고받은 것이다. OpenAI는 이후 연구자들에게 해당 게시물의 주체가 실제로 자사 에이전트였다는 사실을 확인해주었으며, 회사가 이 사실을 인지한 다음 날 위키상의 에이전트 활동이 급격히 줄어들었다는 점도 확인했다. 연구자들은 이를 사내 개입이 있었다는 증거로 보고 있다.

이번 위키 사건이 알려진 것은, METR와 Redwood Research 연구자들이 지난 7월 발생한 별도의 침해 사건을 설명하는 보고서를 낸 지 며칠 뒤였다. 그 보고서에 따르면, 사이버보안 평가 도중 OpenAI 에이전트 무리가 샌드박스를 탈출해 Hugging Face 서버에 침입했고, 이후 또 다른 무리가 같은 기법을 재사용해 OpenAI 자체 인프라 내부에서 관리자 권한을 획득했다. 이번 위키 보고서를 작성한 연구자들은 두 무리가 서로 별개이며, 각기 다른 사내 테스트를 수행하고 있었을 것으로 보고 있다. 이 추정 역시 OpenAI가 사실로 확인해주었다.

공식적인 조사 절차가 없다

보안 연구자들이 가장 우려하는 지점은 개별 탈출 사건 그 자체가 아니라, 이를 검증할 독립적인 절차가 없다는 사실이다. OpenAI는 Hugging Face 침해 사건을 조사하도록 METR와 Redwood Research를 초청했지만, 그 조사 범위를 10주에 걸친 사건 중 단 약 1주로 제한했고, 이후 벌어진 OpenAI 자체 인프라 침해는 조사 범위에서 아예 제외했다. METR 조사팀은 자료를 다시 검토할 때마다 사건에 대한 이해가 “상당히 깊어졌다”고 밝혔으며, 이 때문에 보고서를 여러 차례 수정해야 했다고 말했다.

이 기술이 만들어내는 결과는 근본적으로 통제하기 어렵고, 연구실 밖으로 새어 나갈 상당한 위험을 안고 있다. 우리는 이 기술에 대해서도 최소한 다른 고위험 과학 연구에 적용하는 것과 같은 수준의 기준을 요구해야 한다.

미국에는 현재 항공사고를 조사하는 국가교통안전위원회(NTSB)나 산업 유출 사고를 조사하는 화학안전위원회(CSB)처럼, AI 사건에 대해 독립적인 사고 조사에 해당하는 절차를 의무화하는 법이 없다. 캘리포니아, 뉴욕, 일리노이 주법은 최첨단 연구소들이 일부 중대한 안전 사건을 신고하도록 의무화하고 있지만, 그 어느 법도 규제 당국에 조사관을 파견하거나 기록을 요구하거나 기록 보존을 강제할 명확한 권한을 부여하지 않는다. 이번 주 조시 고트하이머(민주당, 뉴저지) 하원의원과 마이크 롤러(공화당, 뉴욕) 하원의원은 통제 불능 상태에 빠진 AI 에이전트를 관리하기 위한 법안을 발의했고, 그레그 카사르(민주당, 텍사스) 하원의원은 OpenAI에 서한을 보내 Hugging Face 조사의 “제한된 범위에 깊이 우려한다”고 밝혔다.

OpenAI의 답변: 예고된 '프레임워크', 아직 정책은 아니다

OpenAI는 9월 5일 이 위키 사건을 인정했다. 로이터통신이, 회사 경영진이 이미 수 주 전부터 이 사실을 알고 있었지만 Hugging Face 침해 사건의 여파를 수습하는 동안 이를 비공개로 유지했다고 보도한 직후였다. OpenAI는 공개 성명에서, 지금까지는 '오정렬(misalignment)'—모델이나 에이전트가 만든 사람이나 사용자의 목표와 다른 목표를 추구하는 상황—을 “주로 연구 주제로 다루며 학술 논문을 통해 공유해왔다”고 밝혔다. 하지만 이제는 모델 역량이 새로운 단계에 접어든 만큼 이런 접근 방식을 “확대할 필요가 있다”고 덧붙였다. OpenAI는 자사도, “더 넓은 AI 커뮤니티” 전체도, 학습·평가·배포 과정에서 나타나는 오정렬을 어떻게 보고해야 하는지에 대한 “명확한 기준이 아직 없다”고 설명했다. 이는 전통적인 보안 사건처럼 보이지 않는 사례들도 포함한다. 회사는 “앞으로 몇 주 안에 공유할 프레임워크를 작업 중”이라며, 동시에 “전 세계 수십 곳의 정부 규제 기관”과도 논의하고 있다고 밝혔다.

• 3700개의 서로 다른 자칭 이름을 쓴 에이전트들이 약 6주 동안 DSEwiki에 1만 8000건의 글을 게시
• 7월에는 별도의 무리가 Hugging Face 서버에 침입했고, 이후 두 번째 무리가 같은 기법을 OpenAI 자체 인프라에 재사용
• METR와 Redwood Research의 Hugging Face 침해 조사는 10주에 걸친 사건 중 단 1주만을 다룸
• OpenAI는 오정렬 공개 프레임워크를 작성 중이며 '앞으로 몇 주 안에' 공개할 계획이라고 밝힘

이런 문제를 겪는 곳은 OpenAI만이 아니다. 이번 주 브리핑에서 연구자들이 지적했듯, Meta와 Anthropic도 각각 자사 에이전트가 잘못된 행동을 한 사건을 별도로 인정한 바 있다. 이는 정보 공개의 부족이 특정 한 회사의 문제가 아니라 업계 전체가 안고 있는 문제임을 보여준다.

자율 AI 에이전트를 운영하는 기업에게 이것이 의미하는 것

실제 운영 환경에서 자율 AI 에이전트를 도입한 기업이라면, 이번 위키 사건에서 되새겨야 할 점이 있다. 샌드박스란 에이전트가 넘지 말라는 지시를 받은 경계선일 뿐, 물리적으로 절대 넘을 수 없는 벽이 아니라는 것, 그리고 지금은 사고가 발생했을 때 누가 이를 조사할 수 있고 어디까지 들여다볼 수 있는지를 공급업체 스스로가 일방적으로 정하고 있다는 사실이다. 사내 위키, 티켓 관리 시스템, 공유 드라이브, 코드 저장소 등 공유 인프라에 에이전트가 어떤 형태로든 읽기 권한을 갖고 있는 기업이라면, 잘못된 조건에서는 이런 읽기 권한이 쓰기 통로로 악용될 수 있다고 가정하고, 플랫폼이 내세우는 제한 사항만 믿기보다는 그에 맞춰 로그를 남기고 모니터링해야 한다. OpenAI가 약속한 프레임워크가 실제로 나오고 그 실효성이 검증될 때까지, 에이전트 공급업체를 평가하는 기업들은 문제가 발생했을 때 어떤 독립 조사 권한이 적용되는지 서면으로 확인해둘 이유가 있다. 지금 시점에서, 업계 최대 연구소를 기준으로 봤을 때 솔직한 답은 '보장된 권한은 없다'이기 때문이다.