Meta bringt 8-Milliarden-Parameter-Modell auf Niveau von Claude Opus 4.5

Forscher von Meta AI und der University of Illinois Urbana-Champaign (UIUC) haben EvoHarness-RL vorgestellt, eine Reinforcement-Learning-Methode zum Training von KI-Agenten. Laut einem am 29. August veröffentlichten Bericht von AI Times wandte das Team die Methode auf Qwen3-8B an, ein Open-Source-Modell mit lediglich 8 Milliarden Parametern, und erreichte damit eine Erfolgsquote von 96,9% auf ALFWorld, einem Benchmark für sequenzielle Mehrschritt-Haushaltsaufgaben. Dieses Ergebnis übertrifft die 96,4%, die Anthropics Spitzenmodell Claude Opus 4.5 mit der klassischen ReAct-Methode erzielt, und bedeutet einen Sprung von 49,0 Prozentpunkten gegenüber der eigenen ReAct-Basisleistung von Qwen3-8B (47,9%). Das US-Medium VentureBeat berichtete am 28. August separat über dieselbe Forschung und meldete, dass sich auch GPT-4.1 und GPT-5 von OpenAI um 22,1 beziehungsweise 25,7 Prozentpunkte verbesserten, wenn die Methode ohne erneutes Training nur zum Zeitpunkt der Inferenz angewendet wurde.

BPE: Der Zustand eines Agenten wird in Überzeugung, Fortschritt und Erfahrung aufgeteilt

Im Zentrum von EvoHarness-RL steht eine Zustandsabstraktion, die die Forscher BPE nennen – Belief, Progress, Experience (Überzeugung, Fortschritt, Erfahrung). Belief erfasst, was der Agent aktuell über seine Umgebung weiß; Progress verfolgt abgeschlossene Teilziele und verbleibende Aufgaben; Experience speichert Fähigkeiten, frühere Fehlschläge und Suchprioritäten aus vorangegangenen Aufgaben. Um diese drei Zustände zu verwalten, nutzt der Agent nur vier Meta-Aktionen: Track (aktuellen Zustand prüfen), Commit (Fortschritt festhalten), Recall (frühere Erfahrung abrufen) und Note (neue Information festhalten). Die Forscher erklären, dass frühere Systeme für externen Speicher und Werkzeugnutzung festen, von Menschen vorgegebenen Regeln folgten, während BPE den Agenten trainiert, selbst zu entscheiden, wann er etwas festhält und wann er auf vergangene Erfahrung zurückgreift.

Zwei Trainingsphasen: erst überwachtes Fine-Tuning, dann Reinforcement Learning

Das Training erfolgt in zwei Phasen. In der ersten Phase, dem überwachten Fine-Tuning (SFT), lernt Qwen3-8B zunächst die Bedeutung von BPE und den Einsatz der vier Meta-Aktionen. In der zweiten, der Reinforcement-Learning-Phase, wendet das Team eine Methode an, die es als kostenbewusste Group Relative Policy Optimization (cost-aware GRPO) bezeichnet und die das Modell trainiert, selbst zu beurteilen, ob der Aufruf des Harness tatsächlich zum Erfolg der Aufgabe beiträgt. Laut VentureBeat erklärte Mitautorin Xuying Ning, der optimale Harness ändere sich oft von Modell zu Modell, und ein rein anhängendes Gedächtnis gehe davon aus, dass mehr Kontext immer hilfreich sei – was nicht zwangsläufig zutreffe. Als die Forscher die Experience-Komponente in einem Ablationstest entfernten, fiel die durchschnittliche Erfolgsquote auf 48,6% – der stärkste Rückgang der drei Komponenten.

• ReAct-Basisversion: 47,9%
• BPE nur zur Inferenzzeit angewendet (ohne erneutes Training): 56,4%
• Mit überwachtem Fine-Tuning (SFT): 68,6%
• Mit SFT plus Reinforcement Learning (EvoHarness-RL, Endergebnis): 96,9%
• Claude Opus 4.5 — 96,4% mit ReAct-Basisversion, 98,5% mit BPE (+2,1 Punkte)
• GPT-4.1 — von 47,9% auf 70,0% mit BPE zur Inferenzzeit (+22,1 Punkte)
• GPT-5 — von 60,7% auf 85,0% mit BPE zur Inferenzzeit (+25,7 Punkte)
• Vergleichssysteme — SkillRL 89,9%, SkillOS 80,2%

Funktionierte auch in unbekannten Umgebungen — und zeigte ein 'Harness-Annealing'

Die Forscher testeten das Modell zudem an neuen ALFWorld-Aufgaben, die im Training nie vorkamen. Das Basismodell Qwen3-8B kam nur auf 50,0%; mit BPE allein zur Inferenzzeit stieg der Wert auf 77,6%; die vollständig trainierte EvoHarness-RL-Version erreichte 86,6%. Während des Trainings beobachteten die Forscher zudem ein Phänomen, das sie 'Harness-Annealing' (harness annealing) nennen: Zu Beginn griff der Agent bei fast jedem Schritt auf den externen Harness zurück, doch im Verlauf des Trainings verinnerlichte das Modell wiederkehrende Aufgabenmuster, die Häufigkeit der Harness-Aufrufe sank stark und pendelte sich schließlich bei durchschnittlich etwa einem Aufruf pro Episode ein. Auch der Erfahrungsspeicher entwickelte sich entsprechend: Anfangs sammelten sich schnell vielfältige Fähigkeiten und Fehler an, später wurden redundante Informationen zusammengeführt und wenig nützliche Fähigkeiten verworfen, sodass nur das Wesentliche erhalten blieb, statt grenzenlos weiterzuwachsen. In einem von den Forschern genannten Beispiel stellte ein Agent auf der Suche nach einem Wasserkocher fest, dass seine gespeicherte Erinnerung an die Position der Arbeitsfläche nicht mehr mit der tatsächlichen Umgebung übereinstimmte, und korrigierte sich selbst, indem er eine neue Notiz hinterließ, dass die frühere Information falsch war.

Von der Softwareentwicklung bis zur Finanz-Compliance

Die Forscher argumentieren, dass sich diese Architektur über Spielumgebungen hinaus auf reale Aufgaben anwenden lässt. In der Softwareentwicklung würde Belief dem aktuellen Zustand einer Codebasis und ihrer Komponenten entsprechen, Progress abgeschlossenen Aufgaben, Tests und Abhängigkeiten und Experience früheren Fehlerbehebungen und Fehlerfällen. In Finanzwesen und Compliance würde Belief geltende Vorschriften und Nachweise abdecken, Progress abgeschlossene Prüfungen und offene Ausnahmen und Experience wiederkehrende Probleme und deren frühere Behandlung. Mithilfe sogenannter 'Umgebungsadapter' können Organisationen ihre eigenen internen Werkzeuge und ihr Zustandsmanagement beibehalten und BPE als lernfähige Koordinationsschicht hinzufügen, ohne bestehende Werkzeuge zu ersetzen. Die Forschung wurde auf dem Preprint-Server arXiv veröffentlicht (arXiv:2608.05446v1).

Das Ergebnis ist auch für deutsche Unternehmen relevant, die KI-Agenten entwickeln. Bislang galt der kostenpflichtige Zugang zu einem teuren Spitzenmodell von Anthropic oder OpenAI als praktisch einzige Möglichkeit, komplexe Mehrschritt-Aufgaben zuverlässig zu bewältigen. Der Nachweis, dass ein offenes 8-Milliarden-Parameter-Modell mit sorgfältig konstruiertem Gedächtnis- und Werkzeugeinsatz mit solchen Spitzenmodellen mithalten kann, eröffnet die Möglichkeit günstigerer Einsätze — auch auf eigener Infrastruktur statt über eine teure Drittanbieter-API. Das Ergebnis stammt jedoch aus einem einzigen Benchmark, ALFWorld, unter kontrollierten Bedingungen und muss sich in realen Anwendungsfällen erst noch bestätigen, bevor sich daraus endgültige Schlüsse für den Produktivbetrieb ziehen lassen.