SoL-Pi leva eficiência de agentes de programação para o harness

SoL-Pi é uma nova camada de eficiência para o agente de programação open-source Pi, lançada por investigadores da NVIDIA, da NTU e do MIT a 21 de setembro. A principal mudança é arquitetural: em vez de alterar o modelo ou o próprio agente Pi, altera o harness que envolve o agente. Os autores reportam que, na avaliação EdgeBench de 51 tarefas, a pilha completa SoL-Pi reduz o tráfego de tokens entre 44,7% e 49,0% e baixa o custo de API em cerca de 33%, mantendo cerca de 94% da pontuação média do Pi.

De alterações ao modelo a alterações ao harness

O trabalho aborda um ponto de pressão conhecido nos agentes de programação: a interação repetida com ambientes pode gerar históricos longos, observações repetidas e chamadas dispendiosas ao modelo. O SoL-Pi não afirma introduzir um novo modelo de programação. É descrito como uma extensão com licença MIT que funciona com uma versão não modificada do Pi. Os testes reportados usaram o Pi 0.85.1 e Node.js 22.19 ou posterior.

Essa distinção é relevante porque o trabalho de eficiência em agentes de programação pode ocorrer a vários níveis. Um fornecedor de modelos pode alterar o modelo. Um programador de agentes pode modificar a lógica de planeamento ou de utilização de ferramentas. Um operador de benchmark pode medir o desempenho ponta a ponta num ambiente fixo. O SoL-Pi situa-se na segunda camada, em torno do agente, mas os números apresentados continuam a ser resultados de benchmark reportados pelos autores, não medições independentes.

Os investigadores usaram um processo de auto-investigação por IA para procurar mecanismos de eficiência. Segundo o artigo científico, esse processo explorou 152 direções em seis famílias, 535 ambientes executáveis, mais de 3.000 execuções e mais de 60.000 interações entre agente e ambiente. Dessa pesquisa sobreviveram quatro mecanismos: Action Fusion, Online Context Compact, ObservationPack e um Evidence-Preserving Reducer.

O sistema resultante pode ser lido como uma tentativa de reduzir desperdício na conversa entre um agente de programação e o seu ambiente. Em vez de pedir ao modelo subjacente que se torne, por si só, mais barato ou mais conciso, o SoL-Pi restringe, comprime ou reorganiza aquilo que o modelo vê e faz através do harness. A alegação dos autores não é, portanto, apenas que o Pi pode ser mais barato num benchmark, mas que alguma eficiência pode ser extraída sem re-treinar ou substituir o agente.

Quatro mecanismos em torno do Pi

Action Fusion é um dos quatro mecanismos selecionados pelo processo de auto-investigação. Com base no nome e na sua posição na pilha do harness, o seu papel é reduzir padrões de ação ineficientes combinando ou simplificando operações que, de outro modo, seriam tratadas separadamente. O material verificado não fornece detalhe de implementação além de o identificar como um dos mecanismos sobreviventes, pelo que as suas regras internas precisas não devem ser inferidas para lá disso.

Online Context Compact aborda o contexto transportado ao longo da execução do agente. Os agentes de programação acumulam frequentemente informação à medida que inspecionam ficheiros, executam comandos, observam resultados e revêm planos. O lugar declarado deste mecanismo no SoL-Pi indica que compacta o contexto durante a execução, com o objetivo de reduzir o tráfego de tokens preservando informação suficiente para o agente continuar a resolver tarefas.

ObservationPack é outro mecanismo do lado do harness. O seu nome aponta para a forma como as observações do ambiente são empacotadas antes de chegarem ao agente. Num ciclo de agente de programação, as observações em bruto podem ser verbosas, repetidas ou pouco estruturadas para a chamada seguinte ao modelo. O mecanismo faz parte da pilha reportada pelos autores para reduzir tráfego de tokens, embora o resumo não sustente uma descrição mais específica das suas opções de formatação.

O Evidence-Preserving Reducer é o quarto mecanismo sobrevivente. O seu nome destaca uma troca central na compressão para sistemas agênticos: reduzir texto pode remover informação que mais tarde se revela necessária. Ao preservar evidência, o redutor é posicionado como uma salvaguarda contra comprimir e eliminar a base das decisões. O resultado medido reportado pelos autores é que a pilha completa mantém cerca de 94% da pontuação média do Pi no EdgeBench, ao mesmo tempo que reduz tráfego de tokens e custo.

O que mostram os números de benchmark

No EdgeBench, o principal resultado reportado pelos autores é uma redução do tráfego de tokens entre 44,7% e 49,0% para a pilha completa SoL-Pi. A mesma avaliação reporta uma redução de cerca de 33% no custo de API. Como o custo de API está ligado às chamadas ao modelo e ao uso de tokens, o resultado é consistente com o objetivo do sistema: reduzir a quantidade de texto e a sobrecarga de interação enviada através do ciclo do agente, preservando grande parte da pontuação no benchmark.

O valor de desempenho retido também é importante. Os autores reportam que o SoL-Pi conserva cerca de 94% da pontuação média do Pi na avaliação EdgeBench de 51 tarefas. Isso não equivale a dizer que o desempenho fica inalterado, e não é uma validação independente. Significa que, nas condições reportadas pelos autores, as reduções do lado do harness vieram com uma perda de pontuação medida face ao Pi, embora preservando a maior parte da pontuação média.

O Terminal-Bench 4 dá um segundo ponto de dados reportado, com um perfil diferente. Aí, o SoL-Pi resolveu 15 tarefas, contra 18 do Pi, reduzindo o custo total em 26,3%. Este resultado mostra a troca de forma mais direta: menos tarefas resolvidas em troca de um custo total inferior. Também aconselha prudência na leitura da redução de custos no EdgeBench como um ganho universal sem contrapartidas em diferentes benchmarks.

Implicações práticas e limites

A transferência entre modelos é descrita como preliminar, o que limita a generalidade da alegação. Um método de harness que funciona bem com um agente e uma versão testada pode não transportar necessariamente o mesmo equilíbrio entre eficiência e desempenho para outras combinações de modelo e agente. Os factos verificados sustentam a afirmação de que o SoL-Pi funciona com uma versão não modificada do Pi e foi testado com o Pi 0.85.1, mas não estabelecem uma transferência ampla entre sistemas de agentes de programação.

A implicação prática é que os operadores de agentes de programação podem ter outro ponto onde procurar eficiência: o harness do ambiente. Se observações repetidas, contexto verboso e padrões de ação ineficientes forem fatores relevantes de custo, então um wrapper pode reduzir a utilização sem alterar a versão do agente. A licença MIT do SoL-Pi e a compatibilidade com o Pi não modificado são relevantes aqui porque tornam a abordagem uma extensão separável, e não um desenho de agente bifurcado.

Ao mesmo tempo, a evidência fica delimitada pelos benchmarks reportados. Os valores do EdgeBench são resultados dos autores em 51 tarefas. Os valores do Terminal-Bench 4 também são reportados pelos autores e mostram um número de tarefas resolvidas inferior ao do Pi. O processo de auto-investigação foi extenso nos números fornecidos, mas não substitui replicação independente. Os números demonstram uma troca eficiência-desempenho reportada em testes especificados; não provam que todas as cargas de trabalho de agentes de programação terão a mesma redução de custo ou a mesma pontuação retida.

O ponto mais amplo é metodológico. O SoL-Pi reenquadra parte da otimização de agentes de programação como engenharia de harness: controlar ações, compactar contexto, empacotar observações e reduzir evidência sem descartar a informação necessária para agir. A redução de cerca de um terço no custo de API no EdgeBench, reportada pelos autores, é o resultado principal, mas a questão mais duradoura é saber se estes mecanismos do lado do harness podem ser medidos de forma consistente entre agentes, modelos e tarefas sem esconder modos de falha por trás da compressão.