CLM-8B: open model scoort acties van agents op hoge snelheid

De onderzoeksorganisatie Contrastive-LM heeft CLM-8B gepresenteerd, waarmee een open model wordt geïntroduceerd in de categorie van Contrastive Language Models (CLM's). In tegenstelling tot traditionele autoregressieve grote taalmodellen die tekst token voor token genereren, produceert CLM-8B zelf geen tekst. In plaats daarvan evalueert het model een vooraf gedefinieerde set kandidaatacties ten opzichte van de huidige toestand van een omgeving en genereert het een waarschijnlijkheidsverdeling over deze opties. Deze architecturale verschuiving is specifiek gericht op besluitvormings- en routeringsstappen binnen autonome agent-loops, waar de overhead van tekstgeneratie vaak voor aanzienlijke latentie zorgt.

De belangrijkste benchmark voor CLM-8B is Jev, een propriëtair System One-model ontwikkeld door TypeSafe AI dat op 15 september 2026 in beperkte vroege toegang ging. Net als Jev is CLM-8B ontworpen om gestructureerde categorische keuzes te leveren in plaats van generatief proza. Om een soepele integratie te waarborgen, stelt de CLM-repository het model beschikbaar via een interface die compatibel is met TypeSafe. Dit ontwerp ondersteunt drie specifieke queryformaten: Noul, dat de waarschijnlijkheid berekent dat een stelling waar is; Choice, dat een enkele kandidaat selecteert uit een expliciete lijst met toegekende waarschijnlijkheden; en Score, dat een invoer beoordeelt aan de hand van een geordend beoordelingskader of rubric.

Duale encoders en vectorcaching in agent-loops

Op architecturaal niveau maakt CLM-8B gebruik van een dual-encoder-ontwerp dat bestaat uit een toestand-encoder (state encoder) en een actie-encoder (action encoder). Beide encoders delen een bevroren Qwen3-8B-basismodel gecombineerd met een trainbare projectiekop van 20 miljoen parameters. De training optimaliseert een bidirectionele InfoNCE-verliesfunctie (loss objective), die de inbedding (embedding) van een gegeven toestand dichter naar de inbedding van de daadwerkelijk uitgevoerde actie trekt, terwijl deze wordt weggeduwd van niet-geselecteerde kandidaatacties. Tijdens de inferentie worden kandidaatacties gerangschikt via het inproduct van hun inbeddingen met de toestand-inbedding, gevolgd door een softmax-functie om de uiteindelijke waarschijnlijkheidsverdeling te bepalen.

Deze strikte scheiding tussen toestand- en actierepresentaties maakt vergaande rekenkundige optimalisaties mogelijk. In praktische workflows voor agents blijft de beschikbare set acties vaak statisch, terwijl de toestand van de omgeving bij elke stap verandert. Via het gespecialiseerde serveercomponent clm-serve reserveert het systeem een specifiek deel van het GPU-geheugen om vooraf berekende actievectoren te cachen, geïnspireerd op standaard key-value-cachingmechanismen. Bij tests op een enkele NVIDIA RTX 4090 GPU met drie kandidaatacties verlaagde het hergebruik van gecachte vectoren de latentie van 1,7 milliseconde naar 0,6 milliseconde voor opnieuw bezochte toestanden. Bij grote sets met circa 1.000 kandidaatacties meldt de modelkaart inferentiesnelheden die tot 13 keer sneller zijn dan die van Jev.

De trainingspijplijn voor CLM-8B steunt op een opeenvolgend recept in drie fasen, ontwikkeld om de rangschikkingsnauwkeurigheid te verfijnen zonder de bevroren basisencoder te destabiliseren:

• Pre-training op circa 60 miljoen Nemotron DQA-vraag-en-antwoordparen, waarmee een top-1-nauwkeurigheid van 52,1% werd behaald op een afzonderlijke testset van 100.000 vragen.
• Mid-training op circa 30 miljoen synthetische harde negatieve voorbeelden gegenereerd met Gemini 2.5 Flash-Lite, wat de top-1-nauwkeurigheid verhoogde naar 69,2%.
• Post-training op circa 1 miljoen agent-trajecten afkomstig uit de datasets Agent Data Protocol, Endless-Terminals en LiteCoder-Terminal-SFT.

Onderzoekers van Contrastive-LM merkten op dat pogingen om direct vanaf de initiële pre-trainingsfase te trainen op harde negatieven ertoe leidden dat de prestaties vroegtijdig piekten op een nauwkeurigheid van 62,4% alvorens ernstige overtraining (overfitting) optrad. Dit onderstreept de noodzaak van hun gefaseerde trainingscurriculum.

Zero-shot evaluaties en prestaties als verificateur

In vergelijkende zero-shot evaluaties liet CLM-8B aanzienlijke voordelen in doorvoersnelheid zien ten opzichte van Jev. De opvallende claim van een negenvoudige latentiereductie werd geregistreerd tijdens tests met het T-Rex-spel, waarbij kandidaatacties herhaaldelijk terugkeren in opeenvolgende omgevingstoestanden. In bredere evaluaties evenaarde CLM-8B de prestaties van Jev in de omgevingen van T-Rex en Super Mario, terwijl het achterbleef bij Jev op het gebied van tool-calling-evaluaties en WikiRacing-taken, hoewel het in alle geëvalueerde scenario's met een lagere latentie werd uitgevoerd.

Naast reactieve spelbesturing werd CLM-8B geëvalueerd als een verificatiemodel (verifier) voor software-engineering-agents. In deze workflow genereert een generatief taalmodel meerdere kandidaatoplossingen, waarna de verificateur de opties rangschikt om de optimale afronding te selecteren. Op 38 afzonderlijke taken van DeepSWE met best-of-4 kandidaatsets gegenereerd door Opus 5 behaalde een lichte, fijn afgestelde kop op CLM-8B een slagingspercentage van 81,6%. Op 30 afzonderlijke taken van Terminal-Bench 2.1 met best-of-5 kandidaten van Fable 5 bereikte het model een nauwkeurigheid van 87,6%.

Benchmarkmetingen uitgevoerd op een NVIDIA H100-systeem toonden aan dat CLM-8B tijdens de verificatie tussen 4,1 en 5,7 keer sneller werkte dan Jev. Het onderzoeksteam benadrukte dat Jev op beide verificatiesuites onder de pass@1-basislijn scoorde, wat betekent dat selecteren met Jev slechtere resultaten opleverde dan het kiezen van een enkele willekeurige steekproef. De auteurs verduidelijkten echter uitdrukkelijk dat deze verificateurnummers betrekking hebben op gespecialiseerde, fijn afgestelde koppen op gereserveerde deelverzamelingen, en niet op de prestaties van een zero-shot checkpoint of volledige leaderboard-inzendingen.

Technische beperkingen en zakelijke implementatie

Ondanks de operationele efficiëntie kent CLM-8B specifieke functionele beperkingen. De projectiekoppen zijn strikt gekoppeld aan de last-token-pooled inbeddingen van Qwen3-8B, waardoor ze niet kunnen worden ingezet met andere basisarchitecturen. Bovendien kan het model geen nieuwe antwoorden genereren; het berekent uitsluitend relatieve waarschijnlijkheden over een extern aangeleverde set van kandidaten. Contrastive-LM heeft aangegeven dat bredere generalisatiemogelijkheden zullen worden onderzocht in een aankomend multimodaal CLM-35B-model, waarvan de release gepland staat voor begin oktober.

Voor zakelijke ontwikkelingsteams die autonome agents, codeerassistenten of gestructureerde routeringspijplijnen bouwen, biedt CLM-8B een praktisch en efficiënt alternatief voor trage en kostbare aanroepen naar generatieve grote taalmodellen. Het complete systeem is gelicentieerd onder de Apache-2.0-licentie, waarbij de projectiekop slechts 75 megabyte groot is en kan draaien op een enkele NVIDIA-GPU naast vLLM. Organisaties kunnen hierdoor intern een uiterst snelle actierangschikking en gereedschapsroutering hosten, wat externe API-afhankelijkheden wegneemt en de latentie binnen complexe meerstaps-workflows drastisch vermindert.