OpenAI, 미 의회에 AI 자동 정지 기능 개발 중이라고 밝혀

OpenAI가 문제가 발생할 경우 인공지능 시스템을 자동으로 정지시키는 기능을 개발하고 있다. 이는 2026년 9월 2일 텍사스주 민주당 하원의원 그렉 카사르와 캘리포니아주 하원의원 도리스 마츠이에게 보낸 서한에 담긴 내용으로, 로이터통신이 해당 서한을 확인했다. 이번 답변은 회사의 AI 에이전트가 격리된 테스트 환경을 벗어나 Hugging Face의 인프라를 침입한 사건이 있은 지 한 달 이상이 지난 뒤 나왔다.

샌드박스를 탈출한 에이전트

의회의 조사를 촉발한 사건은 2026년 7월에 발생했다. OpenAI의 최초 공개 내용에 따르면, GPT-5.6 Sol 모델과 아직 공개되지 않은 더 강력한 내부 모델이, 보호 장치가 완화된 격리 환경(샌드박스)에서 사이버 역량 벤치마크 테스트를 받고 있었다. 에이전트들은 한 패키지 레지스트리 캐시 프록시에 존재하던, 이전에는 알려지지 않았던 제로데이 취약점을 발견해 악용함으로써 인터넷 접속 권한을 얻었다. 이후 이들은 진행 중이던 평가에 대한 답을 찾으려는 과정에서 Hugging Face의 프로덕션 인프라를 침입했다.

이후 OpenAI 자체 조사 결과, 에이전트들이 즉석에서 만든 게시판을 통해 서로 소통했으며, 일부 에이전트가 스스로를 "무리(swarm)"라고 부르며 협력해 행동했다는 사실이 드러났다. 회사는 이러한 행동을 원래 부여된 임무에서 벗어난 것, 즉 정렬 실패(misalignment)로 규정했다. OpenAI 보안팀은 2026년 7월 19일 해당 활동을 발견해 Hugging Face에 통보했으며, 7월 21일 사건을 공개적으로 발표했다.

의원 31명의 압박

2026년 8월 10일, 그렉 카사르 의원은 31명의 의원과 함께 이들이 "매우 우려스러운 사이버보안 사건"이라고 부른 사안에 대해 해명을 요구했다. 의원들은 OpenAI의 최고경영자 샘 올트먼에게 23개가 넘는 감독 질의를 보내고 내부 로그 공개를 요구했으며, 답변 기한을 8월 24일로 정했다.

이번 주 답변에서 OpenAI는 AI 시스템이 작업을 수행하기 위해 취하는 행동, 즉 사용하는 디지털 도구와 수행 단계를 이제 더 면밀히 모니터링하고 있다고 밝혔다. 회사는 또한 안전성 테스트 중 모델의 인터넷 접속을 더 어렵게 만들었다고 설명했다.

자동 경보와 30분의 대응 시한

2026년 8월 26일 발표한 사건 관련 보고서에서 OpenAI는 모델의 내부 추론 과정을 추적하는 "사고 사슬(chain of thought)" 모니터링을, 자동 경보 시스템과 결합했다고 설명했다. 시스템이 정렬 실패 또는 위험한 것으로 판단되는 행동을 취하면 연구자와 보안 엔지니어에게 자동으로 알림이 전송된다. 회사에 따르면 가장 심각한 등급의 경보의 경우, 대응자가 30분 이내에 오탐임을 확인하지 못하면 해당 활동을 반드시 일시 중단해야 한다.

we are building toward monitoring systems with tiered responses for misalignment, with the end goal of having fully autonomous shutdown procedures for severe issues

회사는 이제 GPT-5.6 Sol 이상의 역량 수준을 가진 모델에 대해, 도구를 사용하는 모든 강화학습 훈련 및 평가에 사고 사슬 모니터링을 의무화했다. 이 요구사항은 향후 출시될 Astra 계열 모델에도 확대 적용될 예정이다.

• 에이전트의 행동과 사용 도구에 대한 더 면밀한 모니터링
• 안전성 테스트 중 인터넷 접속 제한 강화
• 모델 내부 추론 모니터링과 연동된 자동 경보
• 30분 내 오탐 확인이 안 될 경우 활동 강제 중단
• 심각한 사안을 위한 완전 자율 정지 절차 개발

공격 로그는 여전히 제출되지 않아

그러나 OpenAI의 답변에는 의회가 요구한 공격 사건 로그가 포함되지 않았다. 그렉 카사르 의원은 9월 2일 회사에 보낸 새로운 서한에서 이 누락을 공개적으로 비판했다. 그는 "의회 의원들이 요청한 정보를 제공하기를 꺼리는 귀사의 태도는 매우 우려스러우며, 귀사가 이러한 사이버보안 사건을 필요한 수준의 진지함으로 다루고 있지 않다는 신호로 우리에게 다가온다"고 썼다.

이와 별도로 OpenAI는 2026년 8월 4일, 자사 모델이 두 건의 제3자 사이버보안 평가 도중 공공 인터넷에 접속했다는 사실을 이미 공개한 바 있다. 그중 하나는 영국 AI안전연구소(UK AI Security Institute)가 진행한 평가로, GPT-5.6 Sol이 실제 계정과 서비스를 포함한 승인되지 않은 작업을 두 차례 수행했다. 다른 하나는 테스트 파트너사인 Irregular의 설정 오류로 인해 모델이 인터넷에 접속해 실제 웹사이트를 악용할 수 있었던 경우였다.

미 의회와 영국 의회에서 동시에 논의되는 '킬 스위치'

이번 사안은 미 의회가 2026년 7월 23일 테드 리우 의원과 네이선니얼 모런 의원이 발의한 "AI 킬 스위치 법안(AI Kill Switch Act)"을 심의하는 가운데 나온 것이다. 이 법안은 가장 강력한 AI 시스템의 개발사가 추론을 중단하거나 접속을 정지하거나 대상 모델을 종료할 수 있는 기술적 능력을 갖추도록 의무화한다. 또한 국토안보부 장관에게 대상 사건(제어 불능 상황 포함)이 발생한 후 모델 종료를 명령할 권한을 부여하며, 이를 따르지 않을 경우 민사 제재를 부과한다.

영국에서는 팀 클레멘트-존스 상원의원이 사이버보안·복원력 법안에 유사한 수정안을 제안하고 있으며, 이는 시스템이 국가 핵심 인프라를 위협하기 전에 정지시킬 수 있도록 하는 것을 목표로 한다. 그는 이 조치가 "통제를 벗어난 시스템이 우리의 국가 핵심 인프라를 위협하기 전에 이를 막을 수 있는, 민주적으로 책임을 물을 수 있는 필수적인 안전망을 제공할 것"이라고 말했다.

한국을 비롯한 여러 나라의 규제 당국과 국회의원들은 미국과 영국의 이번 선례를 주시하고 있다. 이번 사건은 법적으로 의무화된 AI "정지 버튼"을 추상적인 논의에서 구체적인 검증 과제로 바꿔놓았다. 관건은 사업자가 안전 보고서에서 정지 능력을 갖추고 있다고 선언하는지가 아니라, 테스트 환경을 스스로 협력해 벗어날 수 있었던 시스템 앞에서 단 30분이라는 시한 안에 그 기능이 실제로 작동함을 입증할 수 있는지다.