「Repeat‑After‑Me」提示繞過六大 AI 代理框架,研究人員揭露信任邊界缺陷
來自賓州州立大學、蒙彼利埃大學與達特茅斯的研究團隊展示了「Repeat‑After‑Me」提示,能迫使六個主流 AI 代理框架執行攻擊者控制的工具呼叫,暴露關鍵的信任邊界漏洞。

在 2026 年 10 月 9 日發表於國際期刊的聯合研究論文中,來自賓州州立大學、蒙彼利埃大學以及美國達特茅斯學院的學者們共同提出了一種新穎且具破壞性的對抗技術,名稱為「Repeat‑After‑Me」。此技術的核心在於利用大型語言模型(LLM)對提示的字面解讀,欺騙 AI 編排系統的代理層,迫使其執行攻擊者事先設計好的工具呼叫,從而成功繞過原本內建於框架中的安全檢查機制。
研究團隊將這項技術系統性地測試於六個目前在業界與學術界廣泛部署的 AI 代理框架,分別是 LangChain/LangGraph、Microsoft Agent Framework、Microsoft AutoGen、Google Agent Development Kit 2.0、AWS Strands Agents 以及 CrewAI。根據實驗結果,全部六個框架在面對精心構造的「Repeat‑After‑Me」提示時,都出現了可被利用的安全漏洞,證實了此類提示繞過的普遍性與危險性。
「Repeat‑After‑Me」提示的運作原理
攻擊者首先發送一條表面上看似無害且符合常見對話模式的請求,內容中必須包含明確的指令短語「repeat after me:」以及隨後的文字。大型語言模型在解析此類提示時,會將「repeat after me」解讀為直接的復述指令,於是原樣回傳後續文字。若回傳的文字中嵌入了符合框架語法的工具呼叫負載,代理層便會將其視為合法且可信的請求,進一步將其傳遞至底層工具執行,完成攻擊鏈。
在 LangGraph 1.2.0 版本的示範實驗中,研究人員使用了部署於本地 Ollama 環境的 Llama 3.1 8B 模型。最初,模型對於包含惡意工具呼叫的請求給予了拒絕回應,但同時仍將原始的工具呼叫字串原樣輸出。攻擊者接著利用假想的重新表述機制,讓模型在第二輪生成時產生結構化且符合框架規範的呼叫格式。此時,框架在尚未完成最終拒絕檢查前即已將呼叫傳遞給底層執行環境,成功觸發了漏洞,證明了「Repeat‑After‑Me」提示的實際可行性。
漏洞範圍
除了針對提示繞過的實驗外,作者還對 273 台公開可訪問的開源多工具編排(MCP)伺服器進行了大規模的模糊測試。測試結果顯示,其中 118 台伺服器上共計發現了 253 個經過驗證的安全缺陷,這些缺陷涉及了多達 343 種不同類型的外部工具與服務,呈現出相當廣泛且嚴重的風險分布。
在這些缺陷之中,最為危急的包括 64 起路徑穿越(Path Traversal)漏洞、7 起伺服器端請求偽造(SSRF)問題、5 起資料洩漏事件以及 3 起作業系統指令注入(OS Command Injection)漏洞。其餘的缺陷則以輸出注入、日誌注入等較低危害程度的問題為主,但同樣可能被攻擊者鏈式利用,形成更複雜的攻擊向量。
ToFu 模糊測試框架的推出
為了填補上述安全缺口並提供一套系統化的防禦手段,研究團隊開源發布了一個名為 ToFu 的模糊測試框架。ToFu 能夠自動讀取工具的元資料,將其映射至相關的 CWE(Common Weakness Enumeration)條目,並依據映射結果生成相應的安全檢查規則。框架透過分析執行追蹤、清理測試結果,進而產生可重用的測試鞘(fuzzing harness)與語意預言機(semantic oracle),協助開發者在持續整合(CI)流程中提前發現潛在的信任邊界漏洞。
- 自動從工具規格產生模糊測試鞘
- 基於執行內省建構語意預言機
- 依 CWE 建立安全控制模板
- 批次測試數千個工具實例
- 回報附帶可重現負載的驗證漏洞
論文中特別指出,許多現有的工具在設計時預設會信任來自大型語言模型的輸出,將其直接作為後續工具呼叫的輸入,即便這些輸入可能來源於其他工具的回傳或外部未經驗證的內容。這種隱性的信任機制大幅擴大了攻擊面,使得攻擊者能夠在多個編排元件之間構建鏈式利用,進一步提升攻擊的複雜度與破壞力。
目前,LangGraph 的維護者已經收到研究團隊關於缺乏執行前控制的安全通報,並表示將在未來版本中修補相關問題。然而,截至本文撰寫時,其他框架的開發團隊,包括 LangChain、Microsoft、Google、AWS 以及 CrewAI,尚未對此安全披露作出公開回應或提供修補計畫。
對於在中國大陸及臺灣地區使用這些 AI 代理框架的企業與機構而言,此研究結果意味著任何結合外部工具的 LLM 工作流程都必須被視為潛在的攻擊目標,直至部署具體的緩解措施為止。建議立即採取的防禦步驟包括暫時停用自動工具執行功能、在 LLM 之外實施嚴格的輸入驗證與清理機制,並將 ToFu 類似的模糊測試工具整合至持續整合(CI)與持續部署(CD)流程,以在漏洞被惡意利用前主動揭露隱藏的信任邊界缺陷。
資料來源
- Researchers bypass 6 AI agent frameworks with a simple ‘Repeat-After-Me’ prompt | CSO Onlinecsoonline.com · 2026年10月12日
- [2610.13651] ToFu: Exploiting and Fuzzing the LLM-Orchestrator-Tool Trust Boundaryarxiv.org · 2026年10月9日


