Vals sammelt 40 Millionen Dollar für real‑weltliche KI‑Benchmarks in Recht, Finanzen und Gesundheit

Vals sécurise une levée de fonds de série A de 40 millions de dollars pour redéfinir l'évaluation de l'IA

Début 2024, Vals a annoncé la clôture d'un tour de financement de série A qui a levé 40 millions de dollars. Le tour a été mené par Andreessen Horowitz, après un premier tour de financement seed organisé par 8VC et Bloomberg Beta. Cette injection de capital représente une étape majeure pour une société fondée seulement quelques mois auparavant, et elle fournit le socle financier nécessaire à l'ambition de l'entreprise de réviser la façon dont les systèmes d'intelligence artificielle sont évalués.

La motivation principale de la levée de fonds de Vals est de remplacer ce que l'entreprise qualifie d'« anciens benchmarks publics » par une nouvelle catégorie d'évaluations. Selon Vals, de nombreux benchmarks existants souffrent de contamination des données, c'est‑à‑dire que les jeux de données utilisés pour l'évaluation ont déjà pu être intégrés aux pipelines d'entraînement des modèles de référence. En maintenant les matériaux d'évaluation confidentiels, Vals cherche à créer un environnement de test isolé de ce type de fuite, offrant ainsi une image plus claire des véritables capacités d'un modèle.

Des examens abstraits aux tâches du monde réel

Rayan Krishnan, le fondateur de Vals, a formulé une philosophie précise concernant ce qui constitue un benchmark pertinent. Il soutient qu'un benchmark doit vérifier si un modèle peut produire un travail de qualité comparable à celle d'un humain dans un domaine concret, plutôt que de simplement réussir un examen abstrait à choix multiples. Cette perspective guide le choix des catégories de tâches que Vals mesure actuellement, à savoir le droit, la finance, la programmation, la cybersécurité, la santé mentale, la biosécurité et le droit des conflits armés.

Chacun de ces domaines représente un ensemble distinct de normes professionnelles et de cadres réglementaires. En se concentrant sur des tâches telles que la rédaction d'arguments juridiques, la réalisation d'analyses de risque financier, l'écriture de code de production, l'identification de menaces cyber, la rédaction de scripts de conseil en santé mentale, l'évaluation de protocoles de biosécurité ou l'interprétation du droit des conflits armés, Vals cherche à saisir des dimensions de performance directement pertinentes pour les utilisateurs finaux et les parties prenantes.

Modèle économique et adoption sur le marché

Vals fonctionne selon un modèle business‑to‑business dans lequel les développeurs de modèles d'IA paient l'entreprise pour faire évaluer leurs systèmes à l'aide de ses tâches propriétaires. Les scores obtenus sont ensuite mis à disposition des acheteurs potentiels, qui peuvent les utiliser pour comparer les systèmes concurrents selon des critères pertinents pour les déploiements réels. Cette structure de marché à double face crée une incitation pour les fournisseurs de modèles à démontrer leur compétence sur les tâches de Vals tout en offrant aux acheteurs un outil de décision plus nuancé.

L'entreprise indique que son chiffre d'affaires a été multiplié par huit au cours de l'année écoulée, une affirmation qui concorde avec la montée en puissance rapide de sa base de clients. Parallèlement, Vals a fait passer son effectif de huit à vingt‑cinq employés et a annoncé son intention de recruter dix à quinze personnes supplémentaires dans un avenir proche. Ces chiffres suggèrent une corrélation entre l'arrivée de capitaux, l'adoption de ses services d'évaluation et la croissance organisationnelle.

Parmi les premiers utilisateurs des évaluations de Vals figurent plusieurs agences fédérales des États‑Unis. L'entreprise a lancé un programme d'évaluation dédié à ces agences, indiquant que sa méthodologie est envisagée pour des contextes d'approvisionnement officiel et de conformité. Cette évolution pourrait témoigner d'un intérêt gouvernemental plus large pour des indicateurs de performance d'IA normalisés et basés sur des tâches concrètes.

Transparence, indépendance et reproductibilité

Vals publie à la fois les résultats de ses évaluations et les méthodologies sous‑jacentes sur son site public. Cette approche vise à offrir de la visibilité sur la façon dont les scores sont calculés et à permettre aux parties externes d'examiner le processus. Toutefois, l'indépendance de l'entreprise doit encore être évaluée, notamment parce que les entités qui financent les évaluations sont également les sujets de ces évaluations.

Le potentiel conflit d'intérêts découle du fait que les développeurs de modèles paient Vals pour les tests, ce qui pourrait influencer la perception d'impartialité des résultats. Bien que Vals affirme que ses méthodes sont robustes, la reproductibilité de ses résultats par des chercheurs indépendants reste une question ouverte, étant donné que les matériaux d'évaluation sont eux‑mêmes gardés confidentiels.

• Les matériaux de test confidentiels réduisent le risque de fuite de données d'entraînement
• Le modèle de revenu lie les frais d'évaluation aux développeurs de modèles
• Les résultats sont partagés avec les acheteurs pour des analyses comparatives
• La divulgation publique des méthodes vise à renforcer la transparence

La confidentialité des jeux de test est une arme à double tranchant. D'une part, elle protège l'intégrité de l'évaluation en empêchant les modèles de sur‑adapter des données connues. D'autre part, elle limite la capacité des auditeurs tiers à reproduire les tests, ce qui pourrait affecter la confiance dans les scores rapportés.

Un autre point d'incertitude concerne la scalabilité de la suite de tâches de Vals. Si l'ensemble actuel de domaines couvre un large spectre d'activités professionnelles, étendre le cadre à d'autres secteurs — tels que l'éducation, les transports ou la surveillance environnementale — pourrait nécessiter de nouvelles conceptions de tâches, une expertise disciplinaire supplémentaire et possiblement des protocoles de confidentialité distincts.

L'expansion rapide du personnel de l'entreprise soulève également des questions quant à la viabilité de son modèle opérationnel. Recruter dix à quinze employés supplémentaires indique un besoin accru d'évaluateurs, d'ingénieurs de données et d'experts sectoriels, mais la demande à long terme pour ce type d'évaluations spécialisées dépendra de l'adoption généralisée du benchmarking basé sur des tâches par l'industrie.

À l'horizon, l'approche de Vals pourrait influencer les standards plus larges du secteur. Si ses évaluations confidentielles orientées tâches sont acceptées tant par les entreprises privées que par les agences publiques, elles pourraient devenir un point de référence pour de futurs cadres réglementaires visant à garantir que les systèmes d'IA atteignent des seuils de performance concrets.

Néanmoins, l'impact final de la méthodologie de Vals dépendra de plusieurs facteurs non résolus : la capacité des chercheurs indépendants à vérifier les résultats sans accès au contenu des tests, la volonté des développeurs de modèles de continuer à payer pour des évaluations propriétaires, et le degré d'utilisation de ces scores par les acheteurs dans leurs décisions d'approvisionnement. Chacune de ces variables pourrait déterminer si le modèle de Vals devient un paradigme dominant ou reste un service de niche destiné à des applications spécialisées.