ThinkingBox 以資料庫結果與重複可靠性評分 AI 代理

2026年10月4日 – 微軟研究人員在 Hugging Face 發布了 ThinkingBox，推出了一種全新評估大型語言模型（LLM）代理與外部工具互動方式的方法。與先前的基準測試不同，後者獎勵正確的自然語言答案或語法正確的工具呼叫，ThinkingBox 透過檢查代理執行商業工作流程後的最終後端狀態與副作用來進行評分。此基準包含 507 種不同的有狀態商業流程——例如訂單輸入、庫存更新或客戶記錄修改——每個流程在獨立的 Microsoft Copilot（MCP）工具會話中執行 20 次。透過聚焦實際的資料庫結果，該套件旨在顯示只有在重複、真實使用後才會出現的可靠性問題。

ThinkingBox 的運作方式

這 507 個工作流程皆以一系列操作關係式資料庫的工具呼叫編碼。基準測試為每一次試驗完整隔離 MCP 工具環境，確保不會因跨執行的汙染而掩蓋錯誤。代理完成一次執行後，ThinkingBox 會檢查最終的資料庫快照，並與列舉預期列、欄位值以及審計日誌等副作用的真實規格進行比對。評分標準不考慮代理是否產生流暢的文字摘要；僅記錄後端狀態是否與規格相符、是否出現非預期變更，以及是否有工具回報錯誤。

評估涵蓋了 12 種公開可取得的 LLM 代理，範圍從開源模型到商業化產品。整體實驗產生了 121,680 筆有效試驗——即 507 個工作流程 × 20 次重複 × 12 個模型的乘積。其中，有 79,853 次嘗試在可執行性檢查階段失敗，意即代理未發出必要的工具呼叫或產生無法解析的呼叫。值得注意的是，這些失敗嘗試中有 67.24 % 在未出現最終工具錯誤的情況下結束，因為它們在停止前至少呼叫過一次會改變狀態的工具。此模式凸顯了代理表面成功與資料庫中隱藏不一致之間的斷層。

主要發現

當一次試驗未通過可執行性檢查時，基準測試記錄了三類偏差。錯誤欄位值出現在 77.61 % 的失敗嘗試中，說明即使工具呼叫成功，代理仍常寫入不正確的資料。非預期效果——即改變工作流程未指定的資料庫部分——在 43.30 % 的失敗中被觀測到；缺失效果——即預期的變更從未發生——則出現在 25.36 % 的案例。這些百分比會重疊，因為單一次執行可能同時呈現多種錯誤類型。這些數據顯示，多數工具驅動的失敗仍會讓資料庫處於不一致或僅部分正確的狀態。

不同模型的表現差異甚大。Claude Opus 5.5 取得最高的 pass@1 分數，在 121,680 次試驗的首次嘗試中成功率為 67.16 %。Kimi‑K3 則呈現不同的特徵：在 20 次重複中，它至少一次解決了 93.89 % 的任務，但只有 13.41 % 的執行在所有 20 次都成功。此對比突顯了衡量重複執行可靠性的重要性，而非僅看單一次最佳結果。其餘模型則介於兩者之間，許多模型的 pass@1 率低於 50 %，且在不同重複次數間呈現顯著變異。

基準測試的限制

ThinkingBox 故意限定於精選的商業工作流程，作者亦強調，這些數據並不代表企業在實際生產環境中可能遭遇的全部情境。基準測試在每一次試驗中使用全新 MCP 會話，這會排除長期狀態累積、快取或跨工作流程相依性等在真實系統中存在的影響。此外，評估僅聚焦於關係式資料庫的結果；與非 SQL 服務、檔案系統或外部 API 互動的代理未被納入。最後，指標將任何偏離真實規格的情況視為失敗，即便在特定商業情境下該偏差可能無害。

• 79,853 次嘗試在 121,680 總試驗中未通過可執行性檢查。
• 67.24 % 的失敗嘗試在未出現最終工具錯誤的情況下順利結束。
• 77.61 % 的失敗報告資料庫中出現錯誤欄位值。
• 43.30 % 的失敗產生非預期的副作用。
• 25.36 % 的失敗遺漏了預期的效果。
• Claude Opus 5.5 以 67.16 % 的成功率領先 pass@1。
• Kimi‑K3 至少一次解決了 93.89 % 的任務，但在所有 20 次執行中僅有 13.41 % 完全成功。

對於開發 AI 驅動自動化的團隊而言，實務意涵立刻顯現。ThinkingBox 揭露了代理在未被察覺的情況下寫入錯誤資料或遺漏必要更新的頻率，促使人們從「工具呼叫是否成功？」轉向「資料庫最終是否正確？」的思考。團隊現在可以利用此基準測試優先進行韌性測試、加入補償交易，或重新設計提示以更好地強制冪等行為。這些數據同時為供應商提供具體目標：提升跨執行的可重複性，而非僅追求單次高通過率。隨著企業將 LLM 代理應用於關鍵後勤任務，能夠證明底層資料仍然可信，將成為競爭差異化的關鍵因素。

未來，微軟與更廣大的研究社群計畫將 ThinkingBox 擴展至更多工作流程類別、加入更豐富的副作用追蹤，並與持續整合（CI）管線整合。該基準測試已在 Hugging Face 上公開，任何人皆可對自己的代理執行相同的 507 個工作流程，並與已發佈的基線結果進行比較。透過將以結果為導向的評估開放且可重複，ThinkingBox 正在改變產業衡量 AI 代理可靠性的方式，將討論焦點從表層正確性移向更深層的問題：資料庫——最終的真相來源——是否反映預期的商業結果。