Vals haalt $40 miljoen op voor real‑world AI‑benchmarks in recht, financiën en meer

Vals haalt $40 miljoen Series A op om AI‑benchmarking te herdefiniëren

Begin 2024 kondigde Vals de afronding aan van een Series A-financieringsronde waarbij $40 miljoen werd opgehaald. De ronde werd geleid door Andreessen Horowitz, na een eerdere seed‑ronde die werd georganiseerd door 8VC en Bloomberg Beta. Deze kapitaalinjectie vormt een belangrijke mijlpaal voor een bedrijf dat slechts enkele maanden eerder was opgericht, en biedt de financiële ruggengraat voor de ambitie van het bedrijf om de manier waarop kunst‑matige‑intelligentiesystemen worden geëvalueerd te herzien.

De kernmotief achter Vals' fondsenwervingsinspanning is het vervangen van wat het bedrijf beschrijft als "oude openbare benchmarks" door een nieuwe klasse van beoordelingen. Volgens Vals lijden veel bestaande benchmarks onder datacontaminatie, wat betekent dat de datasets die voor evaluatie worden gebruikt al in de trainingspijplijnen van toonaangevende modellen kunnen zijn opgenomen. Door het evaluatiemateriaal vertrouwelijk te houden, streeft Vals ernaar een testomgeving te creëren die geïsoleerd is van dergelijke lekken, waardoor een duidelijker beeld van de werkelijke capaciteiten van een model wordt verkregen.

Van abstracte examens tot taken uit de praktijk

Rayan Krishnan, de oprichter van Vals, heeft een specifieke filosofie geformuleerd over wat een betekenisvolle benchmark vormt. Hij betoogt dat een benchmark moet verifiëren of een model werk van menselijk niveau kan produceren binnen een concreet domein, in plaats van alleen te slagen voor een abstract meerkeuze‑examen. Dit perspectief bepaalt de selectie van taakcategorieën die Vals momenteel meet, waaronder recht, financiën, programmeren, cyberbeveiliging, geestelijke gezondheid, biosafety en het oorlogsrecht.

Elk van deze domeinen vertegenwoordigt een eigen set professionele normen en regelgevende kaders. Door zich te richten op taken zoals het opstellen van juridische argumenten, het uitvoeren van financiële risico‑analyses, het schrijven van productieklaar code, het identificeren van cyberdreigingen, het leveren van scripts voor geestelijke‑gezondheidsadvies, het beoordelen van biosafety‑protocollen, of het interpreteren van het oorlogsrecht, wil Vals prestatie‑dimensies vastleggen die direct relevant zijn voor eindgebruikers en belanghebbenden.

Businessmodel en marktacceptatie

Vals werkt volgens een business‑to‑business‑model waarbij ontwikkelaars van AI‑modellen het bedrijf betalen om hun systemen te laten evalueren tegen de eigen taken. De resulterende scores worden vervolgens beschikbaar gesteld aan potentiële kopers, die ze kunnen gebruiken om concurrerende systemen te vergelijken op criteria die van belang zijn bij implementaties in de echte wereld. Deze tweezijdige marktstructuur creëert een stimulans voor modelaanbieders om competentie in Vals‑taken te demonstreren, terwijl kopers een genuanceerder besluitvormingsinstrument krijgen.

Het bedrijf meldt dat de omzet het afgelopen jaar achtvoudig is gegroeid, een bewering die overeenkomt met de snelle opschaling van de klantenbasis. Tegelijkertijd heeft Vals het personeelsbestand uitgebreid van acht naar vijfentwintig werknemers en plannen aangekondigd om in de nabije toekomst nog eens tien tot vijftien extra mensen aan te nemen. Deze cijfers suggereren een correlatie tussen de kapitaalinstroom, de adoptie van de evaluatiediensten en de organisatorische groei.

Onder de vroege gebruikers van Vals’ beoordelingen bevinden zich verschillende federale agentschappen uit de Verenigde Staten. Het bedrijf heeft een speciaal evaluatieprogramma voor deze agentschappen gelanceerd, wat aangeeft dat de methodologie wordt overwogen voor officiële inkoop‑ en nalevingscontexten. Deze ontwikkeling zou een bredere overheidsinteresse in gestandaardiseerde, taakgebaseerde AI‑prestatiemetrics kunnen signaleren.

Transparantie, onafhankelijkheid en reproduceerbaarheid

Vals publiceert zowel de resultaten van haar evaluaties als de onderliggende methodologieën op haar openbare website. Deze aanpak is bedoeld om inzicht te geven in hoe scores tot stand komen en om externe partijen in staat te stellen het proces te onderzoeken. De onafhankelijkheid van het bedrijf moet echter nog worden beoordeeld, vooral omdat de entiteiten die de evaluaties financieren ook de onderwerpen van die evaluaties zijn.

Het potentiële belangenconflict ontstaat doordat modelontwikkelaars Vals betalen voor de tests, wat de waargenomen onpartijdigheid van de uitkomsten zou kunnen beïnvloeden. Terwijl Vals stelt dat haar methoden robuust zijn, blijft de reproduceerbaarheid van de resultaten door onafhankelijke onderzoekers een open vraag, aangezien het evaluatiemateriaal zelf vertrouwelijk wordt gehouden.

• Vertrouwelijke testmaterialen verminderen het risico op datalekken tijdens training
• Verdienmodel koppelt evaluatiekosten aan modelontwikkelaars
• Resultaten worden gedeeld met kopers voor vergelijkende analyse
• Openbaarmaking van methoden beoogt transparantie te vergroten

De vertrouwelijkheid van de testsets is een tweesnijdend zwaard. Aan de ene kant beschermt het de integriteit van de evaluatie door te voorkomen dat modellen overfitten op bekende data. Aan de andere kant beperkt het de mogelijkheid voor externe auditors om de tests te repliceren, wat het vertrouwen in de gerapporteerde scores kan beïnvloeden.

Een ander onzeker gebied betreft de schaalbaarheid van Vals’ takenreeks. Terwijl de huidige set domeinen een breed spectrum van professionele activiteiten bestrijkt, kan het uitbreiden van het kader naar extra sectoren — zoals onderwijs, transport of milieumonitoring — nieuwe taakontwerpen, vakinhoudelijke expertise en mogelijk aparte vertrouwelijkheidsprotocollen vereisen.

De snelle personeelsuitbreiding van het bedrijf roept ook vragen op over de duurzaamheid van het operationele model. Het aannemen van tien tot vijftien extra medewerkers duidt op een behoefte aan meer beoordelaars, data‑engineers en domeinexperts, maar de langetermijnvraag naar dergelijke gespecialiseerde beoordelingen zal afhangen van hoe breed de industrie taakgebaseerde benchmarking adopteert.

Vooruitkijkend zou de aanpak van Vals bredere industriestandaarden kunnen beïnvloeden. Als haar vertrouwelijke, taakgerichte beoordelingen aanvaarding vinden bij zowel private bedrijven als publieke agentschappen, kunnen ze een referentiepunt worden voor toekomstige regelgevende kaders die erop gericht zijn AI‑systemen te laten voldoen aan concrete prestatie‑drempels.

Desalniettemin zal de uiteindelijke impact van Vals’ methodologie afhangen van verschillende onopgeloste factoren: de mogelijkheid voor onafhankelijke onderzoekers om resultaten te verifiëren zonder toegang tot de testinhoud, de bereidheid van modelontwikkelaars om te blijven betalen voor propriëtaire evaluaties, en de mate waarin kopers deze scores gebruiken bij inkoopbeslissingen. Elk van deze variabelen kan bepalen of het Vals‑model een dominant paradigma wordt of een niche‑dienst blijft voor gespecialiseerde toepassingen.