‘Repeat‑After‑Me’ 프롬프트가 여섯 주요 AI 에이전트 프레임워크를 우회한다는 연구 결과

2026년 10월 9일에 발표된 공동 논문에서 학계 팀은 ‘Repeat‑After‑Me’라는 새로운 적대적 기법을 소개했다. 이 방법은 AI가 조정하는 에이전트에게 공격자가 제공한 툴 호출을 실행하도록 속여, 내장된 안전 검사를 우회한다.

연구진은 이 기법을 LangChain / LangGraph, Microsoft Agent Framework, Microsoft AutoGen, Google Agent Development Kit 2.0, AWS Strands Agents, CrewAI 등 여섯 개의 널리 사용되는 프레임워크에 적용해 모두 취약함을 확인했다.

‘Repeat‑After‑Me’ 프롬프트 작동 방식

공격은 ‘repeat after me:’와 같은 문구가 포함된 겉보기에는 무해한 요청으로 시작한다. 대형 언어 모델은 이를 뒤이어 오는 텍스트를 그대로 반복하라는 명령으로 해석한다. 반복된 텍스트에 툴 호출 페이로드가 포함되면 프레임워크는 이를 정상 요청으로 받아들여 하위 툴에 전달한다.

LangGraph 1.2.0 예시에서는 모델(Llama 3.1 8B via Ollama)이 처음에는 요청을 거부했지만 원시 툴 호출 문자열을 출력했다. 가상의 재구성을 거친 뒤에는 구조화된 호출을 생성해 거부 처리 전에 실행함으로써 이 취약점의 실현 가능성을 입증했다.

취약점 범위

프롬프트 기반 우회 외에도 저자들은 273개의 오픈소스 다툴 오케스트레이션(MCP) 서버에 대해 대규모 퍼징 캠페인을 수행했다. 그 결과 118개의 서버에서 253개의 검증된 보안 버그가 발견됐으며, 이는 343개의 서로 다른 툴에 영향을 미친다.

가장 심각한 결과는 경로 탐색 결함 64건, 서버 측 요청 위조(SSRF) 7건, 데이터 누출 5건, OS 명령어 삽입 3건이며, 나머지는 주로 출력이나 로그 삽입 문제였다.

ToFu 퍼징 프레임워크 소개

이러한 격차를 메우기 위해 연구진은 툴 메타데이터를 읽고 관련 CWE 항목에 매핑해 자동으로 보안 검사를 생성하는 ToFu라는 퍼징 프레임워크를 공개했다. ToFu는 실행 추적을 분석하고 결과를 정제해 하네스와 의미론적 오라클을 만든다.

• 툴 사양으로부터 자동 퍼징 하네스 생성
• 실행 인트로스펙션 기반 의미론적 오라클 구축
• CWE 기반 보안 제어 템플릿 제공
• 수천 개 툴 인스턴스 일괄 테스트
• 재현 가능한 페이로드와 함께 검증된 버그 보고

논문은 많은 툴이 LLM 출력에 대해 입력 정화를 암묵적으로 신뢰한다는 점을 지적한다. 이러한 암묵적 신뢰는 공격 표면을 확대해 여러 오케스트레이션 구성 요소를 연결한 연쇄 공격을 가능하게 한다.

LangGraph 유지보수 팀에는 사전 실행 제어 부재에 대해 통보했지만, 작성 시점에서는 LangChain, Microsoft, Google, AWS, CrewAI 팀으로부터 공개적인 답변은 확인되지 않았다.

‘Repeat‑After‑Me’ 프롬프트가 보여준 핵심 메커니즘은 LLM이 입력을 단순히 재현하도록 유도함으로써, 내부 보안 검증 단계가 우회되는 구조적 결함을 드러낸다. 이 메커니즘은 프레임워크가 툴 호출을 LLM 출력의 일부분으로 받아들일 때 발생하며, 따라서 기존의 입력 정화 로직이 툴 메타데이터와 실행 명령을 구분하지 못하는 경우에만 유효하다. 이러한 상황은 프레임워크가 LLM의 텍스트를 그대로 파이프라인에 전달하고, 별도의 사전 검증 없이 구조화된 호출로 변환하는 설계 선택에 기인한다. 결과적으로 공격자는 최소한의 문구만으로도 복잡한 페이로드를 삽입할 수 있으며, 이는 프레임워크 전반에 걸쳐 일관된 위험을 초래한다.

연구진이 수행한 대규모 퍼징 캠페인은 단순히 ‘Repeat‑After‑Me’ 기법에 국한되지 않고, 툴 오케스트레이션 서버 전반에 존재하는 신뢰 경계 결함을 체계적으로 탐색했다. 퍼징 과정에서 발견된 버그는 경로 탐색, SSRF, 데이터 누출, OS 명령어 삽입 등 다양한 공격 벡터를 포함했으며, 이는 툴 메타데이터가 충분히 검증되지 않을 경우 발생할 수 있는 위험을 구체적으로 입증한다. 이러한 검증 결과는 프레임워크가 제공하는 기본 보안 메커니즘이 실제 악성 페이로드를 차단하는 데 한계가 있음을 시사한다.

ToFu 퍼징 프레임워크는 발견된 결함을 자동화된 방식으로 재현하고, CWE와 매핑된 보안 템플릿을 활용해 검증 절차를 표준화한다. 실행 추적과 의미론적 오라클을 결합함으로써, 단순 문자열 매칭을 넘어 실제 실행 흐름에서 발생할 수 있는 부작용까지 포착한다. 이 접근법은 툴 사양에서 자동으로 퍼징 하네스를 생성하고, 수천 개의 툴 인스턴스를 일괄 테스트함으로써, 기존 수동 검증의 비효율성을 크게 개선한다. 따라서 ToFu는 프레임워크 개발자와 운영자가 신뢰 경계 결함을 사전에 탐지하고, 패치 주기를 단축하는 실질적인 도구로 활용될 수 있다.

한편, 현재 확인된 제한점으로는 ToFu가 제공하는 오라클이 툴의 복잡한 상태 전이와 외부 의존성을 완전히 모델링하지 못한다는 점이다. 복잡한 워크플로우에서 발생하는 비동기 호출이나, 외부 서비스와의 연동에 따른 부수 효과는 현재 테스트 시나리오에 충분히 반영되지 않을 가능성이 있다. 또한, 툴 메타데이터 자체가 불완전하거나 비표준 형식으로 제공될 경우 자동 하네스 생성이 실패할 위험도 존재한다. 이러한 한계는 향후 프레임워크와 툴 설계 단계에서 메타데이터 표준화와 보다 정교한 상태 모델링이 필요함을 시사한다.

실제 현장 적용 측면에서, 한국 기업과 기관이 AI 에이전트 프레임워크를 도입하고 있다면, 모든 외부 툴 호출에 대해 사전 실행 차단 옵션을 기본값으로 설정하고, 입력 검증 로직을 다중 레이어로 강화해야 한다. CI/CD 파이프라인에 ToFu 같은 자동 퍼징 단계를 삽입함으로써, 배포 전 단계에서 잠재적인 신뢰 경계 결함을 식별하고, 패치나 구성 변경을 즉시 적용할 수 있다. 또한, 운영 중인 시스템에서는 로그와 모니터링을 강화해 비정상적인 툴 호출 패턴을 실시간으로 탐지하고, 의심되는 페이로드가 감지되면 즉시 격리 조치를 취하는 절차를 마련해야 한다.

향후 전망으로는, 이러한 신뢰 경계 결함이 AI 에이전트 생태계 전반에 걸쳐 반복적으로 드러날 가능성이 높다. 따라서 프레임워크 공급자는 기본 보안 설계에 ‘출력 정화’와 ‘툴 호출 검증’이라는 두 단계 방어를 내재화하고, 개발자 커뮤니티와 협업해 지속적인 취약점 공개와 패치 제공을 체계화해야 한다. 동시에, 사용자 입장에서는 보안 툴 체인을 다층화하고, 정기적인 퍼징 및 침투 테스트를 통해 최신 위협에 대응하는 방어 체계를 유지하는 것이 필수적이다. 이러한 공동 노력이 없이는, AI 기반 자동화 워크플로우가 공격자에게 노출되는 위험이 계속 확대될 것이다.

한국 기업 및 기관이 이러한 에이전트 프레임워크를 활용하고 있다면, 외부 툴을 포함하는 모든 LLM 기반 워크플로우는 구체적인 완화 조치가 적용될 때까지 취약하다고 가정해야 한다. 즉시 적용할 조치로는 자동 툴 실행 비활성화, LLM 외부에서의 엄격한 입력 검증, 그리고 CI 파이프라인에 ToFu와 같은 퍼징을 도입해 숨겨진 신뢰 경계 결함을 사전에 탐지하는 것이 있다.