Perplexity 透過提示導向自蒸餾將工具呼叫失敗率降低 21％

Perplexity 公布了一種新穎的訓練方法，稱為提示導向自蒸餾，應用於支援其 Perplexity Computer 代理的 GLM‑5.2 模型。此方法結合了拒絕抽樣微調與在政策自蒸餾，使模型能直接從真實使用者互動中學習，同時避免事後偏誤的陷阱。

核心概念是將每一次對話回合劃分為三類：模型應模仿的回合、需要以驗證過的提示進行校正的回合，以及僅作為上下文背景保留的回合。成功的會話同時提供模仿與校正範例，失敗的會話仍可提供校正資料，確保每一次互動都能以某種方式提升模型。

教師‑學生傳遞的運作方式

在訓練期間，模型會對同一會話執行兩遍。教師傳遞中，校正提示（根據使用者原始意圖與系統錯誤衍生）對模型可見；在學生傳遞中，提示則被隱藏。隨後以前向 Kullback‑Leibler（KL）損失，使學生的輸出分佈與教師的保持一致，從而在不直接暴露提示的情況下傳遞知識。

Perplexity 明確排除任何包含個人可識別資訊（PII）或屬於已選擇退出訓練的使用者的會話。此過濾步驟旨在遵守隱私法規、維護使用者信任，同時仍能蒐集大量真實世界的錯誤資料。

實時 A/B 測試驗證此方法

一項實時 A/B 測試分別針對約 10 萬名使用者執行兩個模型檢查點：一個使用提示導向自蒸餾管線訓練，另一個則為未使用該管線的基線檢查點。工具呼叫失敗——即代理無法成功呼叫外部工具的情況——從 2.24％ 降至 1.77％，相對減少 21.2％。

同一測試亦衡量了「強烈不滿」指標，作為使用者嚴重沮喪的代理變數。該指標由 2.58％ 微幅下降至 2.54％，差異未達統計顯著，顯示工具呼叫失敗的降低未在測試信賴區間內轉化為整體使用者不滿的明顯變化。

限制與未解之問

Perplexity 尚未釋出後訓練權重或訓練程式碼，限制了外部對結果的驗證。此外，報告的改進是檢查點間的比較，而非相對於原始、未修改的 GLM‑5.2 模型的比較，因而仍不清楚收益來源於新蒸餾技術本身，抑或是逐步微調的累積效果。

另一個考量是對驗證提示的依賴——這些提示必須在錯誤發生前已可取得資訊。雖然此舉減少了事後偏誤，卻也將提示的適用範圍限制在系統已知正確答案的情境，可能限制方法在更模糊或全新查詢上的適用性。

• 提示導向自蒸餾結合拒絕抽樣微調與在政策自蒸餾。
• 三種回合類型：模仿、使用驗證提示校正、僅作背景。
• 教師傳遞可見提示，學生傳遞隱藏提示，前向 KL 損失對齊分佈。
• PII 與退出訓練的會話在訓練前被過濾。

工具呼叫失敗的降低相當重要，因為此類失敗常迫使使用者重新表述問題或直接放棄任務，削弱 AI 助手的可靠感。透過降低失敗率，Perplexity 更接近於提供無縫互動體驗，使工具整合感覺透明且可信。

對於在台灣使用 AI 代理進行資料檢索、會議排程或執行程式碼片段的企業而言，影響相當直接：中斷次數減少、支援成本下降，且對於助理能在首次嘗試即完成指令的信心提升。雖然更廣泛的滿意度指標仍未顯示統計顯著，但錯誤率的實際下降已為部署 Perplexity Computer 代理的團隊帶來即時的營運效益。