メタ、80億パラメータのモデルでクロード・オーパス4.5に匹敵する性能を達成

米メタ(Meta)AIとイリノイ大学アーバナ・シャンペーン校(UIUC)の研究者が、強化学習を用いたAIエージェント訓練手法「エボハーネス-RL(EvoHarness-RL)」を発表した。AIタイムズが8月29日に報じたところによると、研究チームはパラメータ数わずか80億のオープンソースモデルQwen3-8Bにこの手法を適用し、連続する複数ステップの家事タスクを評価するベンチマークALFWorldで96.9%の成功率を達成した。この結果は、アンソロピックの最上位モデル、クロード・オーパス4.5が基本のReAct方式で記録した96.4%を上回り、Qwen3-8B自身の基本ReAct性能(47.9%)からは49.0ポイントの上昇となる。米メディアのベンチャービート(VentureBeat)も8月28日に同じ研究を別途報じ、オープンAIのGPT-4.1とGPT-5も、再学習を行わず推論時にのみ同手法を適用しただけで、それぞれ22.1ポイント、25.7ポイント性能が向上したと伝えている。

BPE、エージェントの状態を「信念・進捗・経験」の3つに分解する

エボハーネス-RLの中核をなすのが、研究者らが「BPE(Belief・Progress・Experience、信念・進捗・経験)」と呼ぶ状態抽象化だ。信念はエージェントが現在の環境について把握している情報、進捗は完了した下位目標と残りの作業、経験は過去のタスクで得た技能・失敗事例・検索優先度を、それぞれ指す。エージェントはこの3つの状態を扱うために、トラック(現在の状態を確認する)、コミット(進捗を記録する)、リコール(過去の経験を呼び出す)、ノート(新しい情報を記録する)という4つのメタ行動だけを用いる。研究者らは、従来の外部メモリ・ツール活用の仕組みが人間があらかじめ定めた規則をそのまま踏襲する受動的な構造だったのに対し、BPEはエージェント自身がいつ何を記録し、いつ過去の経験を呼び出すかを判断できるよう学習させる能動的な構造だと説明している。

学習は2段階、教師ありファインチューニングの後に強化学習

学習は2段階で行われる。第1段階の教師ありファインチューニング(SFT)では、Qwen3-8BがまずBPEの意味と4つのメタ行動の使い方を学ぶ。第2段階の強化学習では、研究チームが「コスト考慮型グループ相対方策最適化(cost-aware GRPO)」と呼ぶ手法を適用し、ハーネスを呼び出すという行動自体が実際にタスクの成功に貢献しているかどうかを、モデル自身に判断させるよう学習させる。ベンチャービートによると、共著者のシューイン・ニン(Xuying Ning)氏は「最適なハーネスはモデルごとに変わることが多い」とし、「追記だけを行うメモリは、コンテキストが多いほど常に役立つという前提に立っているが、その前提は必ずしも正しくない」と指摘した。実際、研究チームが経験(Experience)の要素を取り除いて実験したところ、平均成功率は48.6%まで落ち込み、3つの要素の中で最も大きな影響を与えることが分かった。

• ReAct基本方式:47.9%
• 推論時にのみBPEを適用(再学習なし):56.4%
• 教師ありファインチューニング(SFT)適用:68.6%
• SFT+強化学習(エボハーネス-RL、最終結果):96.9%
• クロード・オーパス4.5——基本ReActで96.4%、BPE適用時は98.5%(+2.1ポイント)
• GPT-4.1——47.9%→70.0%(推論時BPE適用、+22.1ポイント)
• GPT-5——60.7%→85.0%(推論時BPE適用、+25.7ポイント)
• 比較対象——スキルRL 89.9%、スキルOS 80.2%

未知の環境でも通用……「ハーネス・アニーリング」現象

研究チームは、学習に使われていない新しいALFWorldタスクでも性能を検証した。基本のQwen3-8Bは50.0%にとどまったが、推論時のみBPEを適用すると77.6%に、エボハーネス-RLを完全に適用すると86.6%まで上昇した。学習過程では「ハーネス・アニーリング(harness annealing)」と呼ばれる現象も観察された。学習初期にはエージェントがほぼすべてのステップで外部ハーネスを呼び出していたが、学習が進むにつれて繰り返し行う作業パターンがモデル内部に定着し、ハーネス呼び出しの頻度が急激に減少、最終的にはエピソードあたり平均1回程度に安定した。経験の保存領域も同様に進化し、初期には様々な技能や失敗事例を急速に蓄積するが、その後は重複した情報を統合し、活用度の低い技能を自ら整理することで、情報を際限なく積み上げるのではなく、核心的な情報のみを保持する方向に変化した。研究チームが示した例では、やかんを探していたエージェントが、調理台の位置に関する過去の記録が現在の環境と食い違っていることに気づき、「以前の情報は誤りだった」という新しいメモを残して自ら誤りを訂正した。

ソフトウェア開発から金融コンプライアンスまで

研究チームは、この仕組みがゲーム環境にとどまらず、実際の業務にも応用できると提案している。ソフトウェア開発では、信念がコードベースと構成要素の現在の状態、進捗が完了した作業・テスト・依存関係、経験が過去の解決方法や不具合事例に、それぞれ対応する。金融・コンプライアンス業務では、信念が適用される規制と根拠資料、進捗が完了した点検と未解決の例外事項、経験が繰り返し発生する問題と過去の対応方法に、それぞれ対応する。研究チームは「環境アダプター」を通じて、組織ごとに異なる内部ツールや状態管理の方式をそのまま維持しながら、BPEという学習可能な調整レイヤーを追加できると説明した。つまり、既存のツールやフレームワーク全体を置き換える必要はないということだ。この研究は、プレプリントサイトのarXiv(arXiv:2608.05446v1)に掲載された。

今回の結果は、AIエージェントの開発を進める日本企業にとっても意味が大きい。これまで、複雑な複数ステップのエージェント業務を安定してこなすには、クロードやGPT系列といった高価な最上位モデルのAPIを使うことが事実上唯一の選択肢と見られてきた。しかし、80億パラメータ規模のオープンソースモデルでも、メモリとツール活用の仕組みを緻密に設計すれば最上位モデルに匹敵する性能を出せることが確認されたことで、国内のスタートアップや企業にも、自社サーバーで動かせる小型モデルでエージェントサービスを構築する余地が広がった。ただし、これは特定のベンチマーク(ALFWorld)、特定の条件下で得られた結果であり、実際の商用サービスに活かすにはさらなる検証が必要になる。