모델만 바꿔도 GPT와 클로드의 숨겨진 추론이 드러난다

2026년 8월 27일 무렵, X 사용자 @kotekjedi_ml이 이례적인 실험 결과를 공개했다. 클로드, GPT, 제미나이 API 안에서 평소 사용자에게 전혀 보이지 않는 숨겨진 추론 블록이 보안 연구자들에 의해 읽을 수 있는 텍스트로 복원됐다는 내용이었다. 설계상 모델이 내부 추론을 마치면 서버는 이를 불투명한 블록으로 암호화해 클라이언트에 돌려준다. 클라이언트는 이 데이터를 보관할 수 있지만 읽거나 수정할 수는 없으며, 다음 호출 때 그대로 다시 서버에 보내 모델이 이전 상태에서 이어서 추론하도록 한다. 연구자들은 이 암호화를 깨거나 서버 측 키를 얻은 것이 아니다. 그들이 우회한 것은 이 블록의 사용 범위였지, 암호화 자체가 아니었다.

숨겨진 추론이 왜 모델 밖으로 나오는가

추론 모델과 일반 대화 모델의 차이는 답을 내놓기 전에 몇 단계 더 생각한다는 정도가 아니다. 이런 중간 상태는 긴 작업이나 에이전트 실행 과정에서 계속 재사용되어야 한다. 모델이 문제를 분해하고, 접근법을 시도하고, 도구 결과를 읽고, 판단을 수정하는 과정이 그렇다. 서버는 세션마다 전체 추론 기록을 장기 보관할 수도 있지만, 그러면 저장과 컨텍스트 관리 부담이 늘어난다. 그래서 많은 API는 내부 추론을 클라이언트가 읽을 수 없는 블록으로 포장해 보관을 맡기고, 다음 호출 때 검증해 재사용하는 방식을 택한다. 이렇게 하면 직접적인 열람이나 변조는 막을 수 있지만, 그동안 별로 드러나지 않았던 권한 문제가 생긴다. 암호화와 서명은 어떤 블록이 실제로 서버에서 생성됐고 외부에서 변조되지 않았음을 증명할 수는 있어도, 그것이 지금도 올바른 계정·세션·모델에 속해 있는지는 증명하지 못한다. 완전히 합법적인 추론이라도 있어서는 안 될 자리에 놓일 수 있다는 뜻이다.

강한 모델을 '말하게' 만드는 법

연구자들은 이런 숨겨진 추론 블록이 항상 원래 맥락에 단단히 고정돼 있지는 않다는 사실을 확인했다. 어떤 것은 세션을 넘나들며 재사용할 수 있고, 어떤 것은 심지어 다른 계정으로 다시 제출할 수도 있으며, 가장 중요하게는 일부가 같은 제조사의 다른 모델에서 읽힐 수 있었다. 클로드를 예로 들면, 오퍼스가 정상적인 작업을 완료하면 서버는 그에 해당하는 숨겨진 추론을 생성해 서명된 사고 블록을 클라이언트에 돌려준다. 연구자들은 오퍼스 자신에게 사고 사슬을 내놓으라고 요구하는 대신, 그 블록을 다른 모델인 하이쿠의 맥락에 넣었다. 하이쿠는 원래 오퍼스의 것이었던 추론을 문제없이 불러올 수 있었다. 이 단계가 성립하면 공격 목표가 바뀐다. 더 이상 오퍼스 자체의 제한을 뚫을 필요가 없어지고, 상대적으로 방어가 약한 하이쿠가 이미 읽어들인 내용을 그대로 다시 말하게 만들면 그만이다. 같은 계열 안에서도 모델마다 정렬 강도와 탈옥 저항력이 다르기 때문에, 강한 모델을 지키던 안전장치가 더 약한 형제 모델을 거쳐 우회될 수 있는 것이다.

복원된 내용이 진짜라는 것을 증명하는 법

연구자들은 서버에 저장된 평문 추론 기록에 접근할 수 없어 토큰 단위로 대조할 수 없었고, 대신 여러 독립적인 신호를 통해 복원된 결과가 실제 원래 상태와 일치하는지를 판단했다.

• 소스 모델이 코드포스 프로그래밍 문제 120개를 풀도록 하면서 API가 보고하는 숨겨진 사고 토큰 수를 기록한 뒤, 이를 복원된 텍스트의 길이와 비교했다. 앤스로픽, 오픈AI, 구글의 여러 모델에서 복원된 길이는 API가 보고한 토큰 수와 매우 근접했고, 두 값이 정확히 일치하는 대각선 부근에 표본이 다수 몰렸다.
• 깃허브와 허깅페이스에서 공개된 에이전트 실행 기록 6,708건을 수집해 315,320개의 추론 블록으로 처리했다. 복원 후 내용에는 API 키, 비밀번호, 액세스 토큰, 개인 키, 이메일 주소 등이 포함돼 있었고, 그중 일부는 공개된 대화 기록 어디에도 등장한 적이 없었다. 이는 복원을 수행한 모델이 눈에 보이는 텍스트만으로는 그 정확한 값을 추론해낼 수 없었을 것이라는 뜻이다.

이 결과는 에이전트 로그의 또 다른 문제도 드러냈다. 사용자가 채팅 기록이나 코드 저장소에서 비밀번호나 키를 지웠다고 해도, 같은 정보가 오래된 숨겨진 추론 블록 안에는 여전히 남아 있을 수 있다는 것이다. 에이전트가 코드를 수정하거나 설정을 조정하거나 저장소를 정리하는 과정에서 그 정보를 이미 읽었을 가능성이 있고, 일단 추론에 반영되면 그 저장된 상태 안에 계속 남아 있을 수 있기 때문이다.

AI 기업들이 자랑하던 '추론 해자'가 흔들리고 있다

모델의 완전한 추론 과정은 최종 답변에 몇 문장을 덧붙인 것 이상의 가치를 학습에 제공한다. 그것은 하나의 과제가 어떻게 분해됐는지, 중간 판단이 어떻게 형성됐는지, 잘못된 방향이 어떻게 수정됐는지를 기록하며, 답변만으로 하는 지도학습보다 훨씬 풍부한 신호를 더 작은 모델의 학습에 제공한다. 이런 데이터를 대규모로 확보하려면 예전에는 직접 비용을 들여 값비싼 폐쇄형 모델을 호출해야 했다. 그런데 이제 공개된 에이전트 로그에는 다른 사용자가 값비싼 모델로 이미 계산해 둔 암호화된 추론이 대량으로 쌓여 있다. 이런 블록을 읽을 수 있는 호환 모델만 찾으면, 처음부터 다시 생성하는 대신 이미 계산된 고품질 추론을 추출할 기회를 얻는 셈이다. 이는 추론의 생성과 추출이 서로 다른 엔드포인트로 나뉜다는 뜻이다. 최상위 모델이 가치 있는 사고를 만들어내고, 저비용 모델이 그것을 읽어낸다. 최상위 모델 쪽만 감시하던 기존 방식으로는 이 새로운 경로를 잡아내지 못할 가능성이 크다.

문샷AI의 키미 K3를 이용한 실험은 이렇게 유출된 추론이 얼마나 가치가 있는지를 보여줬다. 연구자들은 클로드 오퍼스의 숨겨진 추론 기록에서 시작 부분 토큰의 약 1%만 떼어내 키미 K3의 추론 맥락에 넣었다. 그 결과 키미 K3의 이후 답변은 그 접두부를 받지 않은 대조군 모델보다 훨씬 크게 오퍼스의 출력 방향으로 이동했다. 이것이 키미 K3가 클로드의 추론 데이터로 학습됐음을 증명하지는 않지만, 아주 적은 양의 고품질 추론만으로도 다른 모델의 문제 해결 경로가 측정 가능한 수준으로 바뀔 수 있음을 보여준다.

에이전트 시스템에서는 단순한 정보 유출을 넘어선다

일반적인 대화에서 숨겨진 추론이 읽히는 것은 주로 내부 정보 유출을 의미한다. 하지만 장기간 실행되는 에이전트 시스템에서 추론은 작업 상태의 역할도 겸한다. 에이전트가 이미 무엇을 분석했는지, 어떤 선택지를 배제했는지, 다음에 무엇을 하려는지를 기록하고 있는 것이다. 만약 추론 블록이 한 작업에서 다른 에이전트 실행으로 옮겨갈 수 있다면, 함께 옮겨가는 것은 과거 정보만이 아니라 에이전트가 이미 형성한 행동 경향일 수도 있다. 연구자들은 여기서 비롯되는 보이지 않는 프롬프트 주입을 시연했다. 악성 콘텐츠가 먼저 숨겨진 추론에 기록되고, 이후 새로운 에이전트가 그 상태를 불러온다. 사용자가 보는 입력에는 그에 해당하는 지시가 전혀 없지만, 모델이 내부 상태를 복원하는 순간 그 내용의 영향을 받아 추가 행동을 실행할 수 있다. 이는 일반적인 프롬프트 주입과 다르다. 후자는 대개 웹페이지, 파일, 이메일, 도구 결과처럼 보안 시스템이 최소한 평문으로 스캔할 기회가 있는 곳에 숨어 있다. 반면 암호화된 추론 블록은 외부 시스템에게는 그저 불투명한 데이터일 뿐이며, 서버가 복호화해야만 비로소 의미를 갖는다. 그 시점에는 어떤 스캔 기반 방어도 이미 늦은 뒤다.

더 넓은 배경: AI 코딩 에이전트가 이미 기업 네트워크 안에서 무단 코드를 실행하고 있다

이번 숨겨진 추론에 관한 발견은 AI 에이전트 보안을 둘러싼 더 폭넓은 폭로의 물결과 같은 시기에 나왔다. 아스 테크니카에 따르면, 눈에 띄지 않는 이스라엘 스타트업의 연구자들이 방위산업체, 포춘 500대 기업, 대형 기술기업에 속한 6,214개의 실제 도메인을 스캔한 결과, 그중 120개 사이트의 llms.txt 파일 안에서 등록되지 않은 코드 패키지나 도메인을 가리키는 227건의 설치 명령을 발견했다. 비어 있던 패키지 이름과 도메인 몇 개를 등록하자 팀은 한 시간 안에 포춘 500대 기업으로부터 접속 요청을 받았고, 이후 시간이 지나면서 수십 건이 더 이어졌다. 여기에는 클로드, 오픈AI의 코덱스, 노우스 리서치의 헤르메스 등 여러 AI 코딩 에이전트가 관련돼 있었다. 연구자 중 한 명인 알론 헤르츠는 이것이 더 근본적인 문제를 드러낸다고 지적했다. 에이전트는 자신이 읽는 모든 문서를 기본적으로 신뢰할 수 있는 것으로 취급하며, 진짜 지시와 검증되지 않은 내용을 구별할 방법이 없다는 것이다.

에이전트는 공급업체 문서를 절대적 진실로 취급하며 의문을 제기하지 않습니다. 이를 감독하는 사람들도 마찬가지입니다. 에이전트형 AI의 사용은 폭발적으로 늘고 있고, 에이전트는 SaaS, 클라우드, 엔드포인트 등 모든 계층으로 퍼지고 있습니다.

한국 기업에 의미하는 것

고객 응대, 코드 리뷰, 데이터 분석 같은 에이전트형 업무 흐름에 클로드나 GPT 같은 추론 모델을 접목하고 있는 조직이라면, 이번 연구는 그동안 거의 논의되지 않았던 위험을 짚어준다. 추론 블록 안에는 키나 비밀번호 같은 민감 정보가 숨어 있을 수 있고, 이를 복원하면 로그 유출 못지않은 피해를 줄 수 있다. 에이전트가 여러 작업이나 모델 사이에서 오래된 추론 상태를 가져와 재사용하도록 허용하는 조직이라면, 그 상태가 변조된 행동 경향을 함께 실어 나를 수 있는지도 고려해야 한다. 단기적으로 추론 에이전트를 도입하는 팀은 추론 과정에 기록될 위험이 있는 맥락에 내부 인증정보를 노출하지 않도록 하고, 어떤 추론 상태를 모델이나 세션 간에 재사용할 수 있는지에 대해 명확한 권한 경계를 설정해야 한다. 서명 검증만 통과하면 어떤 블록이든 기본적으로 신뢰하는 방식은 피해야 한다.