Meta laat model met 8 miljard parameters Claude Opus 4.5 evenaren

Onderzoekers van Meta AI en de University of Illinois Urbana-Champaign (UIUC) hebben EvoHarness-RL gepresenteerd, een reinforcement-learningmethode voor het trainen van AI-agenten. Volgens een artikel dat AI Times op 29 augustus publiceerde, paste het team de methode toe op Qwen3-8B, een opensourcemodel met slechts 8 miljard parameters, en behaalde daarmee een slagingspercentage van 96,9% op ALFWorld, een benchmark voor opeenvolgende meerstaps huishoudtaken. Dat resultaat overtreft de 96,4% die Anthropics topmodel Claude Opus 4.5 haalt met de klassieke ReAct-methode, en betekent een sprong van 49,0 procentpunt ten opzichte van Qwen3-8B's eigen ReAct-basisresultaat (47,9%). Het Amerikaanse medium VentureBeat berichtte op 28 augustus apart over hetzelfde onderzoek en meldde dat ook GPT-4.1 en GPT-5 van OpenAI respectievelijk 22,1 en 25,7 procentpunt verbeterden wanneer de methode, zonder hertraining, alleen tijdens de inferentie werd toegepast.

BPE: de status van een agent opgesplitst in overtuiging, voortgang en ervaring

De kern van EvoHarness-RL is een statusabstractie die de onderzoekers BPE noemen — Belief, Progress, Experience (overtuiging, voortgang, ervaring). Belief staat voor wat de agent op dit moment weet over zijn omgeving; Progress houdt voltooide subdoelen en resterend werk bij; Experience slaat vaardigheden, eerdere mislukkingen en zoekprioriteiten op die zijn opgebouwd tijdens eerdere taken. Om deze drie statussen te beheren, gebruikt de agent slechts vier meta-acties: track (huidige status controleren), commit (voortgang vastleggen), recall (eerdere ervaring ophalen) en note (nieuwe informatie vastleggen). De onderzoekers leggen uit dat eerdere systemen voor extern geheugen en gereedschapsgebruik vaste, door mensen vooraf bepaalde regels volgden, terwijl BPE de agent traint om zelf te beslissen wanneer iets moet worden vastgelegd en wanneer eerdere ervaring moet worden opgehaald.

Twee trainingsfasen: eerst begeleide fine-tuning, dan reinforcement learning

De training verloopt in twee fasen. In de eerste fase, begeleide fine-tuning (SFT), leert Qwen3-8B eerst wat BPE betekent en hoe de vier meta-acties worden gebruikt. In de tweede, reinforcement-learningfase, past het team een methode toe die het cost-aware Group Relative Policy Optimization (GRPO) noemt, waarmee het model leert zelf te beoordelen of het aanroepen van de harness daadwerkelijk bijdraagt aan het voltooien van de taak. Volgens VentureBeat zei mede-auteur Xuying Ning dat de optimale harness vaak per model verschilt, en dat een geheugen dat alleen maar informatie toevoegt ervan uitgaat dat meer context altijd helpt — wat niet per se waar is. Toen de onderzoekers de Experience-component in een ablatietest verwijderden, daalde het gemiddelde slagingspercentage naar 48,6%, de sterkste daling van de drie componenten.

• Basis-ReAct: 47,9%
• BPE alleen toegepast tijdens inferentie (zonder hertraining): 56,4%
• Met begeleide fine-tuning (SFT): 68,6%
• Met SFT plus reinforcement learning (EvoHarness-RL, eindresultaat): 96,9%
• Claude Opus 4.5 — 96,4% met basis-ReAct, 98,5% met BPE (+2,1 punt)
• GPT-4.1 — van 47,9% naar 70,0% met BPE tijdens inferentie (+22,1 punt)
• GPT-5 — van 60,7% naar 85,0% met BPE tijdens inferentie (+25,7 punt)
• Vergelijkingssystemen — SkillRL 89,9%, SkillOS 80,2%

Werkte ook in onbekende omgevingen — en toonde 'harness-annealing'

De onderzoekers testten het model ook op nieuwe ALFWorld-taken die nooit tijdens de training waren gezien. Het basismodel Qwen3-8B kwam niet verder dan 50,0%; met alleen BPE tijdens inferentie steeg dat naar 77,6%; en de volledig getrainde EvoHarness-RL-versie haalde 86,6%. Tijdens de training zagen de onderzoekers ook een verschijnsel dat ze 'harness-annealing' noemen: in het begin riep de agent bij bijna elke stap de externe harness aan, maar naarmate de training vorderde, werden herhaalde taakpatronen geïnternaliseerd, daalde het aantal harness-aanroepen sterk en stabiliseerde het gebruik zich uiteindelijk op gemiddeld ongeveer één aanroep per episode. Ook het ervaringsgeheugen evolueerde op vergelijkbare wijze: in het begin verzamelde het snel uiteenlopende vaardigheden en fouten, later werden redundante gegevens samengevoegd en weinig nuttige vaardigheden verwijderd, zodat alleen essentiële informatie behouden bleef in plaats van eindeloos te blijven groeien. In een voorbeeld dat de onderzoekers aanhaalden, ontdekte een agent die op zoek was naar een waterkoker dat zijn herinnering aan de locatie van het aanrecht niet meer klopte met de werkelijke omgeving, en corrigeerde zichzelf door een nieuwe notitie te schrijven dat de eerdere informatie fout was.

Van softwareontwikkeling tot financiële compliance

De onderzoekers stellen dat deze architectuur verder reikt dan spelomgevingen en toepasbaar is op echt werk. Bij softwareontwikkeling zou Belief overeenkomen met de huidige status van een codebase en de bijbehorende onderdelen, Progress met voltooide taken, tests en afhankelijkheden, en Experience met eerdere oplossingen en foutgevallen. Bij financiën en compliance zou Belief de geldende regels en bewijsstukken omvatten, Progress de voltooide controles en openstaande uitzonderingen, en Experience terugkerende problemen en hoe die eerder werden opgelost. Dankzij wat het team 'omgevingsadapters' noemt, kunnen organisaties hun eigen interne tools en statusbeheer behouden en tegelijk BPE toevoegen als een leerbare coördinatielaag, zonder bestaande tools te vervangen. Het onderzoek is gepubliceerd op de preprintserver arXiv (arXiv:2608.05446v1).

Dit resultaat is direct relevant voor Nederlandse en Belgische bedrijven die AI-agenten ontwikkelen. Tot nu toe leek het betrouwbaar afhandelen van complexe meerstapstaken vrijwel alleen mogelijk via een dure API van een topmodel van Anthropic of OpenAI. Het bewijs dat een open model met 8 miljard parameters, goed uitgerust met geheugen en gereedschapsgebruik, die topmodellen kan evenaren, opent de deur naar goedkopere implementaties — ook op eigen infrastructuur in plaats van via een dure externe API. Het resultaat blijft echter beperkt tot één specifieke benchmark, ALFWorld, onder gecontroleerde omstandigheden, en moet nog worden bevestigd in echte toepassingen voordat er definitieve conclusies voor productieomgevingen aan te verbinden zijn.