Meta讓80億參數模型效能追平Claude Opus 4.5

Meta AI與美國伊利諾大學厄巴納-香檳分校(UIUC)的研究人員公布了一種以強化學習為基礎的代理人(agent)訓練方法——EvoHarness-RL。根據AI Times於8月29日發布的報導,研究團隊將此方法套用於僅有80億參數的開源模型Qwen3-8B,在評估連續多步驟居家任務的基準測試ALFWorld中,取得96.9%的成功率。這項成績超越了Anthropic旗艦模型Claude Opus 4.5以基礎ReAct方法取得的96.4%,也較Qwen3-8B本身的ReAct基準成績(47.9%)提升了49.0個百分點。美國媒體VentureBeat於8月28日另行報導同一項研究,指出在不重新訓練、僅於推論階段套用此方法的情況下,OpenAI的GPT-4.1與GPT-5成績也分別提升了22.1與25.7個百分點。

BPE:將代理人的狀態拆分為信念、進度與經驗

EvoHarness-RL的核心,是研究人員稱為BPE(Belief-Progress-Experience,信念-進度-經驗)的狀態抽象。信念代表代理人目前對環境的認知;進度記錄已完成的子目標與剩餘工作;經驗則儲存從過去任務中累積的技能、失敗案例與檢索優先順序。為管理這三種狀態,代理人僅使用四種元動作:追蹤(檢查目前狀態)、提交(記錄進度)、回想(檢索過往經驗)與記錄(寫入新資訊)。研究人員表示,過去的外部記憶與工具使用系統遵循的是人類事先訂定的固定規則,而BPE則是訓練代理人自行判斷何時該記錄資訊、何時該調用過往經驗。

兩階段訓練:先監督式微調,再強化學習

訓練分為兩個階段。第一階段為監督式微調(SFT),Qwen3-8B先學習BPE的意義,以及四種元動作的使用方式。第二階段為強化學習,團隊採用所謂「成本敏感的群組相對策略最佳化」(cost-aware GRPO),訓練模型自行判斷呼叫harness這項行為是否真正有助於完成任務。根據VentureBeat報導,論文共同作者Xuying Ning表示,「最佳的harness往往因模型而異」,且「僅做累加的記憶機制,預設更多脈絡永遠有幫助,但這項假設未必成立」。當研究人員在消融實驗中移除經驗(Experience)這項元件後,平均成功率降至48.6%,是三項元件中降幅最大的一項。

• 基礎ReAct:47.9%
• 僅於推論階段套用BPE(不重新訓練):56.4%
• 加入監督式微調(SFT):68.6%
• SFT加強化學習(EvoHarness-RL,最終結果):96.9%
• Claude Opus 4.5——基礎ReAct為96.4%,加入BPE後為98.5%(+2.1個百分點)
• GPT-4.1——由47.9%提升至70.0%(推論階段套用BPE,+22.1個百分點)
• GPT-5——由60.7%提升至85.0%(推論階段套用BPE,+25.7個百分點)
• 對照系統——SkillRL 89.9%,SkillOS 80.2%

在陌生環境中依然有效,並出現「harness退火」現象

研究人員也在訓練過程中從未出現過的全新ALFWorld任務上測試模型。基礎版Qwen3-8B僅達到50.0%;僅於推論階段加入BPE後提升至77.6%;完整訓練後的EvoHarness-RL模型則達到86.6%。訓練過程中,研究人員還觀察到一種稱為「harness退火」(harness annealing)的現象:訓練初期,代理人幾乎每一步都會呼叫外部harness,但隨著訓練推進,重複出現的任務模式逐漸內化,harness呼叫頻率大幅下降,最終穩定在平均每回合約呼叫一次的水準。經驗儲存庫的演化過程也類似:初期快速累積各類技能與錯誤案例,之後逐步整合重複資訊、剔除利用率偏低的技能,最終只保留核心資訊,而非無限累加。研究人員舉例說明,一個尋找水壺的代理人發現,自己先前記錄的檯面位置資訊與目前環境不符,於是寫下新的紀錄自我修正,標註「先前資訊有誤」。

從軟體開發到金融法遵

研究人員認為,此架構的適用範圍不僅限於遊戲環境,也能用於實際工作場景。在軟體開發中,信念對應程式碼庫及其元件的目前狀態,進度對應已完成的任務、測試與相依項目,經驗則對應過去的修復方式與錯誤案例。在金融與法規遵循領域,信念對應適用的法規與佐證資料,進度對應已完成的檢查與尚未解決的例外情況,經驗則對應反覆出現的問題及其歷史處理方式。團隊表示,透過所謂的「環境轉接器」,各機構可保留自身原有的內部工具與狀態管理方式,同時加入BPE作為可學習的協調層,而無須替換現有的工具或框架。這項研究已發布於預印本平台arXiv(編號arXiv:2608.05446v1)。

這項結果對正在開發AI代理人的企業有直接意義。過去,要可靠處理複雜的多步驟代理人任務,幾乎只能仰賴Anthropic或OpenAI等業者價格高昂的前沿模型API。如今,一個80億參數規模的開源模型,只要在記憶與工具調用架構上妥善設計,就能達到與前沿模型相當的效能,這代表更多團隊有機會在自有伺服器上部署小型模型來建構代理人服務,而不必事事仰賴昂貴的第三方API。不過,這項結果目前僅出自ALFWorld這一項特定基準測試的條件,要真正應用於實際生產環境,仍須進一步驗證。