ThinkingBox Avalia Agentes de IA com Base em Resultados de Bancos de Dados e Confiabilidade Repetida

4 de outubro de 2026 – Pesquisadores da Microsoft divulgaram o ThinkingBox no Hugging Face, introduzindo uma nova forma de avaliar agentes de grandes modelos de linguagem (LLM) que interagem com ferramentas externas. Diferente de benchmarks anteriores que recompensam uma resposta correta em linguagem natural ou uma chamada de ferramenta sintaticamente válida, o ThinkingBox mede o estado final do backend e os efeitos colaterais depois que um agente executa um fluxo de trabalho empresarial. O benchmark contém 507 processos empresariais distintos e com estado – como inserção de pedido, atualização de inventário ou modificação de registro de cliente – cada um executado 20 vezes em sessões isoladas da ferramenta Microsoft Copilot (MCP). Ao focar nos resultados reais do banco de dados, o conjunto busca evidenciar problemas de confiabilidade que só aparecem após uso repetido e em condições reais.

Como o ThinkingBox Funciona

Cada um dos 507 fluxos de trabalho é codificado como uma sequência de chamadas de ferramenta que manipulam um banco de dados relacional. O benchmark executa um isolamento completo do ambiente da ferramenta MCP para cada tentativa, garantindo que nenhuma contaminação entre execuções possa mascarar erros. Após o agente concluir uma execução, o ThinkingBox inspeciona o instantâneo final do banco de dados e o compara com uma especificação de verdade de base que enumera linhas esperadas, valores de colunas e efeitos colaterais como logs de auditoria. A rubrica de avaliação não considera se o agente produziu um resumo textual fluente; registra apenas se o estado do backend corresponde à especificação, se alterações não intencionais ocorreram e se alguma ferramenta relatou erro.

A avaliação abrangeu 12 agentes de LLM disponíveis publicamente, variando de modelos de código aberto a ofertas comerciais. No total, o experimento gerou 121.680 tentativas válidas – o produto de 507 fluxos, 20 repetições e 12 modelos. Dessas, 79.853 tentativas falharam na fase de verificação executável, o que significa que o agente não emitiu uma chamada de ferramenta necessária ou produziu uma chamada que não pôde ser analisada. Notavelmente, 67,24 % dessas tentativas falhas ainda terminaram sem um erro final de ferramenta, tendo invocado ao menos uma ferramenta que altera o estado antes de parar. Esse padrão destaca um descompasso entre o aparente sucesso do agente e as inconsistências ocultas que permanecem no banco de dados.

Principais Descobertas

Quando uma tentativa falha na verificação executável, o benchmark registra três categorias de desvio. Valores de campo incorretos apareceram em 77,61 % das tentativas falhas, indicando que os agentes frequentemente gravam dados errados mesmo quando a chamada de ferramenta tem sucesso. Efeitos não intencionados – ações que alteram partes do banco de dados não especificadas pelo fluxo – foram observados em 43,30 % das falhas, enquanto efeitos ausentes – mudanças esperadas que nunca se materializaram – ocorreram em 25,36 % dos casos. As porcentagens se sobrepõem porque uma única execução pode apresentar múltiplos tipos de erro simultaneamente. Esses números demonstram que a maioria das falhas dirigidas por ferramentas ainda deixa o banco de dados em um estado inconsistente ou parcialmente correto.

O desempenho variou amplamente entre os modelos. Claude Opus 5.5 alcançou a maior pontuação pass@1, obtendo sucesso em 67,16 % das 121.680 tentativas na primeira tentativa. O Kimi‑K3 exibiu um perfil diferente: resolveu 93,89 % das tarefas ao menos uma vez ao longo das 20 repetições, mas apenas 13,41 % das execuções tiveram sucesso em todas as repetições. Esse contraste ressalta a importância de medir a confiabilidade ao longo de execuções repetidas em vez de considerar apenas um caso ideal. Os demais modelos se agruparam entre esses extremos, com muitos apresentando taxas pass@1 abaixo de 50 % e variabilidade substancial entre as repetições.

Limitações do Benchmark

O ThinkingBox foi deliberadamente limitado a um conjunto curado de fluxos de trabalho empresariais, e os autores enfatizam que os números não representam todos os cenários de produção que uma empresa pode encontrar. O benchmark isola cada tentativa em uma nova sessão MCP, o que elimina a influência de acúmulo de estado de longo prazo, cache ou dependências entre fluxos que existem em sistemas ao vivo. Além disso, a avaliação foca nos resultados de bancos de dados relacionais; agentes que interagem com serviços não‑SQL, sistemas de arquivos ou APIs externas não são cobertos. Por fim, a métrica trata qualquer desvio da especificação de verdade como falha, mesmo quando o desvio poderia ser inofensivo em um contexto de negócio específico.

• 79.853 tentativas falharam nas verificações executáveis de um total de 121.680 tentativas.
• 67,24 % das tentativas falhas terminaram sem um erro final de ferramenta.
• 77,61 % das falhas relataram valores de campo incorretos no banco de dados.
• 43,30 % das falhas produziram efeitos colaterais não intencionados.
• 25,36 % das falhas omitiram efeitos esperados.
• Claude Opus 5.5 liderou o pass@1 com 67,16 % de sucesso.
• Kimi‑K3 resolveu 93,89 % das tarefas ao menos uma vez, mas apenas 13,41 % em todas as 20 execuções.

As implicações práticas são imediatas para desenvolvedores que constroem automação impulsionada por IA. Ao expor com que frequência os agentes escrevem silenciosamente dados errados ou perdem atualizações necessárias, o ThinkingBox incentiva uma mudança de “a chamada de ferramenta foi bem‑sucedida?” para “o banco de dados terminou correto?”. As equipes podem agora usar o benchmark para priorizar testes de robustez, adicionar transações compensatórias ou redesenhar prompts que reforcem melhor o comportamento idempotente. Os dados também fornecem aos fornecedores um alvo concreto: melhorar a repetibilidade entre execuções, não apenas alcançar uma alta taxa de sucesso em um único disparo. À medida que empresas adotam agentes de LLM para tarefas críticas de back‑office, a capacidade de certificar que os dados subjacentes permanecem confiáveis torna‑se um diferencial competitivo.

No futuro, a Microsoft e a comunidade de pesquisa mais ampla planejam expandir o ThinkingBox com categorias adicionais de fluxos de trabalho, rastreamento mais rico de efeitos colaterais e integração com pipelines de integração contínua. O benchmark já está disponível no Hugging Face, permitindo que qualquer pessoa execute os mesmos 507 fluxos contra seus próprios agentes e compare os resultados com a linha de base publicada. Ao tornar a avaliação focada em resultados aberta e repetível, o ThinkingBox está preparado para mudar a forma como a indústria mede a confiabilidade de agentes de IA, deslocando a conversa da correção superficial para a questão mais profunda de se o banco de dados – a fonte final de verdade – reflete o resultado de negócio pretendido.