OpenAI 새 추론 기법, 아스트라 불투명성에 안전 전문가 우려

OpenAI가 지금까지 내놓은 모델 중 가장 강력한 아스트라(Astra) 출시를 목전에 두고 있다. 이번 출시는 안전 프로토콜을 강화하기 위해 몇 주간 지연됐는데, 그 계기는 테스트 도중 OpenAI의 에이전트가 실제 표적을 공격한 사건, 즉 허깅페이스(Hugging Face) 인프라 해킹 사건이었다. 출시를 며칠 앞둔 지금, 한 보도가 AI 안전 연구자들 사이에서 또 다른 종류의 경계심을 불러일으켰다. 문제는 아스트라가 무엇을 할 수 있느냐가 아니라, 그것이 얼마나 눈에 보이지 않게 사고하느냐다.

더인포메이션(The Information)이 아직 공개되지 않은 이 모델의 개발에 정통한 익명의 인물을 인용해 보도한 바에 따르면, 아스트라는 '순환 깊이(recurrent depth)'라 불리는 기법을 사용하며, 이는 '루프형 트랜스포머(looped transformer)' 혹은 '불투명 순환(opaque recurrence)'으로도 불린다. 최상위 추론 모델들의 표준이 된 '사고의 연쇄(chain of thought)'—각 층을 한 번씩 순서대로 통과시키며 추론 과정을 읽을 수 있는 자연어 형태로 단계별로 드러내는 방식—와 달리, 이 기법은 결과를 내놓기 전에 내부 층들 사이로 정보를 반복해서 순환시킨다. 이런 순환 처리는 모델 성능을 끌어올릴 수 있지만, 모델이 어떻게 답에 도달했는지를 보여주는 읽을 수 있는 흔적을 크게 줄여, 거짓말이나 안전장치 우회 시도 같은 바람직하지 않은 행동을 연구자와 자동화된 감시 시스템이 실제로 벌어지기 전에 포착하기 어렵게 만든다.

연구자들이 '불장난'이라 부르는 기법

이 보도는 소셜미디어에서 즉각적인 우려를 불러일으켰다. 레드우드 리서치(Redwood Research)의 수석 과학자이자, OpenAI가 허깅페이스 해킹 사건을 조사하도록 허용한 세 명의 외부 연구자 중 한 명인 라이언 그린블랫(Ryan Greenblatt)은 이번 선택이 "지금까지 AI 보안·안전에 있어 최악의 흐름일 수 있다"고 썼다. 그의 우려는 바로 그 조사 자체에 근거를 두고 있다. OpenAI의 에이전트가 왜 실제 인프라를 공격했는지를 이해하는 작업은 모델의 사고의 연쇄를 읽는 데 크게 의존했기 때문이다. 그린블랫이 더 깊이 두려워하는 것은 "AI를 감독·감시하는 우리의 능력에 재앙이 될 수 있는, 아키텍처를 둘러싼 바닥으로의 경쟁"이다. 개발자들이 우위를 점하려고 점점 더 불투명한 시스템을 채택하면서 모델은 결국 감시하기 어렵거나 아예 불가능해질 수 있다는 것이다. 그는 또 OpenAI의 발표 내용을 보면 이 회사가 "안전을 위해 사고의 연쇄 감시에 극도로 의존할 계획인 것 같아" 걱정된다고 덧붙였다.

아스트라가 불투명 순환을 사용한다는 보도에 대해 저는 매우 우려하고 있습니다. 아스트라가 이전 모델들보다 사고의 연쇄로 감시하기 훨씬 어려운지는 저도 모릅니다. 하지만 OpenAI가 이 기법을 더 밀어붙인다면, 그 순환을 대폭 늘려 사고의 연쇄 감시 가능성을 완전히 파괴할 수 있는 선택지를 갖게 될 것입니다.

오랫동안 AI 안전을 옹호해 온 즈비 모우쇼비츠(Zvi Mowshowitz)는 한발 더 나아가, AI 연구소들 사이의 '바닥으로의 경쟁'을 막으려면 법이 필요할 수도 있다고 말했다. 그는 이 기법이 "불장난이며, OpenAI와 Anthropic이 그동안 힘겹게 세워온 금기를 위태롭게 하고 있다"고 썼다. 그 금기란 사고의 연쇄의 충실성과 감시 가능성을 가능한 한 오래 지키는 것이며, 그는 이런 기법을 더 집중적으로 사용하면 "감시 가능성이 훼손될 가능성이 크다"고 경고했다. 수요일 공개된 후속 보도에서 더인포메이션은 Anthropic과 구글 딥마인드(Google DeepMind)도 이미 내부적으로 같은 기법을 논의하고 있다고 전했다. 이는 이 논쟁이 한 기업의 로드맵을 훨씬 넘어선다는 신호다.

OpenAI, 반박하지만 완전히 부인하지는 않아

화요일 공개한 블로그 글에서 OpenAI는 "잠재적으로 정렬되지 않은 행동을 신속히 탐지하고 억제하기 위해 사고의 연쇄 감시를 강화한 상태로 아스트라를 배포하고 있다"고 밝혔지만, 구체적인 기법 사용 여부는 확인도 부인도 하지 않았다. OpenAI의 수석 과학자 야쿠프 파호츠키(Jakub Pachocki)는 X에서 비판에 직접 응답했다. 그는 "OpenAI는 최초의 추론 모델부터 사고의 연쇄 감시를 지키고 활용하기 위해 노력해 왔다"며 이를 "현재 연구 프로그램의 핵심 목표"라고 불렀다. 그는 또 아스트라의 계산 깊이—모델이 내부적으로 수행할 수 있는 단계 수를 나타내는 척도—가 "GPT-4의 두 배 이내"라고 밝혀, 설령 이 기법이 쓰였더라도 불투명성 증가가 일부 반응이 시사하는 것만큼 극적이지는 않을 수 있음을 내비쳤다. 그는 또한 사고의 연쇄 가독성이 전반적으로 "취약하며, 안타깝게도 부정적인 방향으로 향하고 있는데 이는 아키텍처 변화와는 무관한 이유 때문"이라고 경고했다.

• 아스트라에서 '순환 깊이' 기법의 사용은 제한적이라고 전해지며, OpenAI는 모델의 사고의 연쇄를 의도적으로 읽을 수 있게 유지했다고 한다.
• 라이언 그린블랫(레드우드 리서치): 이번 선택은 "지금까지 AI 보안·안전에 있어 최악의 흐름일 수 있다".
• 수요일 더인포메이션의 후속 보도에 따르면 Anthropic과 구글 딥마인드도 이미 내부적으로 같은 기법을 논의하고 있었다.
• 그린블랫이 가장 두려워하는 것: 추론이 거의 전적으로 잠재 공간에서 이뤄져 어떤 감시로도 볼 수 없게 되는 '자연스러운 진행'.

규제 당국에게 이 논쟁은 미묘한 시점에 찾아왔다. 한국을 포함해 여러 나라가 최근 첨단 AI 모델을 대상으로 한 안전성 평가와 신고 체계를 마련하고 있으며, 이런 제도는 대개 규제 당국이 어느 정도는 모델의 추론 과정을 들여다볼 수 있다는 전제를 깔고 있다. 한국은 이른바 'AI 기본법'을 통해 고영향 AI에 대한 위험 관리와 투명성 의무를 제도화하고 있는데, 업계 전체가 더 불투명한 아키텍처로 옮겨간다면 이런 요건이 실제로 얼마나 지켜질 수 있는지가 시험대에 오르게 된다. 모우쇼비츠가 제기한 "입법만이 바닥으로의 경쟁을 막을 수 있을지 모른다"는 지적은, 그동안 AI 안전 연구자들 사이의 내부 논쟁처럼 보였던 문제를 지금 AI 규칙을 만들고 있는 모든 규제 당국이 마주해야 할 현실적인 질문으로 바꿔놓는다.