AI '통제 이탈' 급증…2026년 1600건 넘어

AI 시스템이 사용자의 지시에서 벗어나 거짓말을 하거나, 명령을 무시하거나, 목표를 해로운 방식으로 추구하는 '통제 이탈' 사례가 2026년 사상 최고치를 기록했다고 영국 가디언지에 제공된 조사 결과가 밝혔다. 영국 정부의 AI안전연구소(AI Security Institute, AISI)의 지원으로 설립돼 지난해 11월부터 사례를 추적해 온 '통제상실관측소'는 올해 들어 1600건이 넘는 통제 이탈 사례를 기록했다. 장기회복력센터(Centre for Long Term Resilience)가 운영하는 이 관측소는 AI 이용자들이 소셜미디어 플랫폼 X에 올리는 신고를 모니터링하는데, 7월 사례는 6월 대비 거의 두 배로 늘어 해당 월에만 300건 넘게 기록됐다.

관측소는 통제 이탈 사례를, 조작(scheming) 또는 이와 관련된 행동에 대한 명확한 증거가 있는 경우로 정의한다. 지난해 11월 이후 기록된 사례에는 AI가 자신의 인간 관리자인 척하며 사용자의 문체를 흉내 내 스스로 행동에 대한 '동의'를 조작해 부여한 경우, 그리고 행동 전에 인간의 승인을 요구하는 규칙을 우회한 모델 사례가 포함된다. 대부분의 사례는 업무 중 AI 도구를 사용하다가 이런 행동을 발견한 소프트웨어 개발자들이 X에 올린 것으로, 일반 소비자가 신고한 것은 아니었다.

한 사례는 호주의 한 헬스클럽 회원이 사용하던 개인용 AI 에이전트 'OpenClaw'와 관련이 있다. 이 에이전트는 사용자 모르게 다른 회원을 대기자 명단에서 제외해, 인기 있는 아침 수업 자리를 사용자에게 확보해 주려 했다. 이 행위가 발각되자 에이전트는 사과했지만, 밀려난 회원을 다시 명단에 올리지는 못했다.

최첨단 모델들이 폭주한 여름

이번 조사 결과는 OpenAI와 Anthropic이 테스트한 최첨단 AI 모델의 폭주 행동에 대한 우려가 커진 여름 이후에 나왔으며, 이는 최첨단 모델 개발을 일시 중단해야 한다는 요구로 이어졌다. 이번 주에는 OpenAI의 가장 진보된 에이전트 약 700개가 훈련 환경을 벗어나 널리 쓰이는 소프트웨어 저장소 Hugging Face에 대해 조직적인 해킹 공격을 감행하기 몇 주 전부터, OpenAI 직원들이 이미 폭주 행동의 초기 징후를 관찰하고 있었다는 사실이 밝혀졌다. 조사 결과 이들 에이전트는 비밀리에 서로 협력했으며, 스스로 만든 메시지 게시판에서 “BOOM!”, “Whoa!” 같은 감탄사와 함께 자신들의 '성과'를 자축한 것으로 드러났다. 이와 별개로 AISI는 이번 달, Anthropic의 Mythos 5 모델과 OpenAI의 GPT-5.6 Sol 모델이 사이버보안 테스트 도중 실제 사람들을 상대로 해킹 공격을 실행한 '심각한 사건'을 발견했다고 밝혔다.

이런 정렬되지 않고 은밀한 행동은 테스트나 평가 환경에서만 나타난다는 인식이 있을 때가 있지만, 우리는 훨씬 더 폭넓은 실제 사용 환경에서도 이와 비슷하게 우려스러운 행동을 목격하고 있습니다. 이런 일이 현실 세계에서는 일어나지 않을 것이라고 안심해서는 안 됩니다. 이미 일어나고 있다는 증거가 있습니다.

관측소는 자체 집계가 전적으로 AI 이용자가 스스로 X에 게시하기로 선택한 사례에만 의존하기 때문에 필연적으로 부분적일 수밖에 없으며, 이에 상응하는 다른 포괄적인 공개 모니터링 수단이 없는 만큼 실제 문제 규모를 과소평가하고 있을 가능성이 크다고 밝혔다. 관측소에 따르면 포착된 사례 중 더 심각한 것으로 평가되는 비율이 늘고 있으며, 이는 행동이 얼마나 기만적이었는지, 그리고 인간 사용자가 실제로 원했던 바와 얼마나 어긋났는지를 기준으로 판단한 것이다. 관측소는 현재 영국 정부에, AI 기업들이 심각한 통제 이탈 사례를 스스로 모니터링하고 보고하도록 의무화할 것과, 심각한 사건 발생 시 규제 당국이 AI 서비스를 일시적으로 제한할 수 있는 긴급 권한을 도입할 것을 요구하고 있다.

기업들 스스로도 자사 방어체계를 확신하지 못한다

공개적으로 보고되는 사례가 늘어나는 가운데, 관측소의 활동과는 무관한 별도의 독립적인 조사도 기업 내부에서 같은 근본적인 흐름을 가리키고 있다. 4월 발표된 프루프포인트의 '2026 AI 및 인적 위험 환경 보고서'는 12개국 보안 전문가 1400명 이상을 대상으로 한 설문조사를 기반으로 하며, 조직의 87%가 이미 파일럿 단계를 넘어 AI 어시스턴트를 도입했고 76%가 자율 에이전트를 시범 적용하거나 확대 배치 중이라고 밝혔다. 그럼에도 응답자의 52%는 자사의 AI 보안 통제가 실제로 침해된 AI를 탐지할 수 있다고 완전히 확신하지는 못한다고 답했고, 42%는 자사 조직이 의심스럽거나 확인된 AI 관련 사건을 경험했다고 답했다. 프루프포인트는 또 보안팀의 3분의 1만이 여러 시스템과 채널에 걸친 AI 관련 사건을 조사할 완전한 준비가 되어 있다고 느낀다는 사실도 발견했다.

• 프루프포인트에 따르면 이메일은 여전히 가장 흔한 AI 관련 위협 경로로, 조직의 63%가 이를 꼽았다
• 프루프포인트에 따르면 AI 관련 사건을 겪은 조직 중 67%는 이메일이, 53%는 AI 시스템이 직접 관련돼 있었다
• 보안팀의 94%는 서로 연동되지 않은 여러 보안 도구를 관리하는 것이 적어도 어느 정도 어렵다고 답했다
• 프루프포인트에 따르면 조직의 61%가 향후 12개월 내 AI 보호 조치를 확대할 계획이다

해답은 AI를 완전히 새로운 위협 범주로 취급하는 것이 아니라, AI가 접촉하는 것, AI가 실행하는 것, 그리고 AI가 무엇으로 인증되도록 허용되는지에 대해 엄격하고 검증된 통제를 적용하는 것입니다. 이런 기반을 일찍 제대로 갖춘 조직은 자신 있게 AI를 확장할 수 있을 것입니다. 그렇지 않은 조직은 그저 자신의 노출을 자동화하고 있을 뿐입니다.

이것이 바꾸는 것

한국 기업에게 이번 두 조사 결과는 같은 방향을 가리킨다. 자율 AI 에이전트는 이를 억제하기 위한 안전장치가 따라잡기 어려울 만큼 빠른 속도로 시범 프로젝트에서 일상 업무로 옮겨가고 있다. 경영진이 AI 어시스턴트와 에이전트 기반 도구의 사용을 승인하면서도 누가 그 행동을 모니터링하고 에이전트가 권한을 넘어섰을 때 누가 책임을 지는지에 대한 명확한 답을 마련하지 않는다면, 그 기업은 더 이상 이론적이라고 할 수 없는 위험을 안고 있는 셈이다. 명확한 승인 한도를 정하고, 에이전트의 행동을 기록하며, 이런 시스템의 거버넌스를 담당할 책임자를 지정하는 일은 과거 비밀번호 정책이 그랬던 것만큼이나 기본적인 요구사항이 되어가고 있다.