SoL-Pi déplace l’efficacité des agents de code vers le harnais

SoL-Pi est une nouvelle couche d’efficacité pour l’agent de code open source Pi, publiée par des chercheurs de NVIDIA, NTU et MIT le 21 septembre. Son principal changement est architectural: au lieu de modifier le modèle ou l’agent Pi lui-même, elle modifie le harnais qui entoure l’agent. Les auteurs indiquent que, sur l’évaluation EdgeBench de 51 tâches, la pile complète SoL-Pi réduit le trafic de jetons de 44,7% à 49,0% et abaisse le coût API d’environ 33%, tout en conservant environ 94% du score moyen de Pi.

Des changements de modèle aux changements de harnais

Le travail vise un point de pression connu pour les agents de code: leur interaction répétée avec des environnements peut générer de longs historiques, des observations répétées et des appels de modèle coûteux. SoL-Pi ne revendique pas l’introduction d’un nouveau modèle de code. Il est décrit comme une extension sous licence MIT qui fonctionne avec une version non modifiée de Pi. Les tests rapportés ont utilisé Pi 0.85.1 et Node.js 22.19 ou une version ultérieure.

Cette distinction est importante, car les travaux d’efficacité sur les agents de code peuvent intervenir à plusieurs niveaux. Un fournisseur de modèle peut modifier le modèle. Un développeur d’agent peut changer la logique de planification ou d’utilisation d’outils de l’agent. Un opérateur de benchmark peut mesurer la performance de bout en bout dans un environnement fixe. SoL-Pi se situe dans la deuxième couche autour de l’agent, mais les chiffres rapportés restent des résultats de benchmark communiqués par les auteurs, et non des mesures indépendantes.

Les chercheurs ont utilisé un processus d’auto-recherche par IA pour chercher des mécanismes d’efficacité. Selon l’article, ce processus a exploré 152 directions réparties dans six familles, 535 environnements exécutables, plus de 3 000 exécutions et plus de 60 000 interactions entre agent et environnement. Quatre mécanismes ont émergé de cette recherche: Action Fusion, Online Context Compact, ObservationPack et un Evidence-Preserving Reducer.

Le système qui en résulte peut être lu comme une tentative de réduire le gaspillage dans la conversation entre un agent de code et son environnement. Plutôt que de demander au modèle sous-jacent de devenir moins coûteux ou plus concis par lui-même, SoL-Pi contraint, compresse ou réorganise ce que le modèle voit et fait via le harnais. L’affirmation des auteurs n’est donc pas seulement que Pi peut coûter moins cher sur un benchmark, mais qu’une partie de l’efficacité peut être extraite sans réentraîner ni remplacer l’agent.

Quatre mécanismes autour de Pi

Action Fusion est l’un des quatre mécanismes sélectionnés par le processus d’auto-recherche. D’après son nom et sa place dans la pile de harnais, son rôle consiste à réduire les schémas d’action inefficaces en combinant ou en rationalisant des opérations qui seraient autrement traitées séparément. Le matériel vérifié ne donne pas de détail d’implémentation au-delà de son identification comme l’un des mécanismes retenus; ses règles internes précises ne doivent donc pas être déduites au-delà de cela.

Online Context Compact traite le contexte transporté pendant l’exécution de l’agent. Les agents de code accumulent souvent des informations lorsqu’ils inspectent des fichiers, exécutent des commandes, observent des sorties et révisent des plans. La place déclarée du mécanisme dans SoL-Pi indique qu’il compacte le contexte pendant l’exécution, avec l’objectif de réduire le trafic de jetons tout en préservant suffisamment d’informations pour que l’agent puisse continuer à résoudre les tâches.

ObservationPack est un autre mécanisme côté harnais. Son nom indique une attention portée à la manière dont les observations issues de l’environnement sont conditionnées avant d’atteindre l’agent. Dans une boucle d’agent de code, les observations brutes peuvent être verbeuses, répétées ou mal structurées pour l’appel de modèle suivant. Le mécanisme fait partie de la pile rapportée par les auteurs pour réduire le trafic de jetons, même si les éléments fournis ne permettent pas une description plus précise de ses choix de mise en forme.

L’Evidence-Preserving Reducer est le quatrième mécanisme retenu. Son nom met en avant un compromis central dans la compression pour les systèmes agentiques: réduire le texte peut supprimer des informations qui se révèlent nécessaires plus tard. En préservant les éléments de preuve, le réducteur est positionné comme une protection contre une compression qui ferait disparaître la base des décisions. Le résultat mesuré communiqué par les auteurs est que la pile complète conserve environ 94% du score moyen de Pi sur EdgeBench, tout en réduisant le trafic de jetons et le coût.

Ce que montrent les chiffres de benchmark

Sur EdgeBench, le principal résultat communiqué par les auteurs est une réduction du trafic de jetons de 44,7% à 49,0% pour la pile complète SoL-Pi. La même évaluation rapporte un coût API inférieur d’environ 33%. Comme le coût API est lié aux appels de modèle et à l’utilisation de jetons, le résultat est cohérent avec l’objectif du système: réduire la quantité de texte et les surcoûts d’interaction envoyés dans la boucle de l’agent, tout en conservant une grande partie du score de benchmark.

Le chiffre de performance conservée est également important. Les auteurs indiquent que SoL-Pi garde environ 94% du score moyen de Pi sur l’évaluation EdgeBench de 51 tâches. Cela ne revient pas à dire que la performance est inchangée, et ce n’est pas une validation indépendante. Cela signifie que, dans les conditions rapportées par les auteurs, les réductions côté harnais se sont accompagnées d’une perte de score mesurée par rapport à Pi, tout en préservant la majeure partie du score moyen.

Terminal-Bench 4 fournit un second point de données rapporté, avec une forme différente. Dans ce cas, SoL-Pi a résolu 15 tâches contre 18 pour Pi, tout en réduisant le coût total de 26,3%. Ce résultat montre le compromis plus directement: moins de tâches résolues en échange d’un coût total plus bas. Il invite aussi à ne pas interpréter la réduction de coût sur EdgeBench comme un gain gratuit et universel sur tous les benchmarks.

Le transfert entre modèles est décrit comme préliminaire. Cela limite la généralité de l’affirmation. Une méthode de harnais qui fonctionne bien avec un agent et une version testée ne transporte pas nécessairement le même équilibre entre efficacité et performance vers d’autres combinaisons de modèles et d’agents. Les faits vérifiés permettent de dire que SoL-Pi fonctionne avec une version non modifiée de Pi et a été testé avec Pi 0.85.1, mais ils n’établissent pas un transfert large à travers les systèmes d’agents de code.

Implications pratiques et limites

L’implication pratique est que les opérateurs d’agents de code peuvent chercher l’efficacité à un autre endroit: le harnais d’environnement. Si les observations répétées, le contexte verbeux et les schémas d’action inefficaces sont des facteurs majeurs de coût, alors une couche d’enveloppement peut réduire l’usage sans modifier la version de l’agent. La licence MIT de SoL-Pi et sa compatibilité avec Pi non modifié sont pertinentes ici, car elles en font une extension séparable plutôt qu’une conception d’agent dérivée.

Dans le même temps, les preuves restent bornées par les benchmarks rapportés. Les chiffres EdgeBench sont des résultats communiqués par les auteurs sur 51 tâches. Les chiffres Terminal-Bench 4 sont eux aussi rapportés par les auteurs et montrent un nombre de tâches résolues inférieur à celui de Pi. Le processus d’auto-recherche est étendu au regard des nombres fournis, mais il ne remplace pas une réplication indépendante. Les chiffres démontrent un compromis efficacité-performance rapporté dans des tests spécifiés; ils ne prouvent pas que toutes les charges de travail d’agents de code obtiendront la même réduction de coût ou le même score conservé.

Le point plus large est méthodologique. SoL-Pi reformule une partie de l’optimisation des agents de code comme une ingénierie du harnais: contrôler les actions, compacter le contexte, conditionner les observations et réduire les preuves sans écarter les informations nécessaires pour agir. Le coût API inférieur d’un tiers sur EdgeBench est le résultat mis en avant, mais la question plus durable est de savoir si de tels mécanismes côté harnais peuvent être mesurés de façon cohérente entre agents, modèles et tâches, sans masquer des modes d’échec derrière la compression.