Benchmarks de patch de IA subestimam a qualidade real, revela estudo

Investigadores da Northwestern University avaliaram agentes de codificação num conjunto curado de 112 bugs reais provenientes de 84 projectos de código aberto escritos em C/C++, Go e Rust. O conjunto inclui tanto os gatilhos originais de crash (PoC) como os testes de regressão adicionais fornecidos pelos responsáveis dos projectos.

O resultado mais marcante diz respeito ao modelo Claude Opus 4.7. Este impediu o crash em cerca de 90 % dos casos, mas apenas passou na bateria completa de testes dos responsáveis em 61 % das ocorrências, revelando uma lacuna significativa entre evitar o crash e garantir a correção funcional completa.

Por que os benchmarks que consideram apenas crashes são enganosos

Os benchmarks tradicionais costumam contar um patch como bem‑sucedido se este simplesmente impede o crash, tratando-o como prova de conceito. Esta abordagem ignora as etapas de verificação mais profundas que os programadores escrevem para garantir que a correção está alinhada com a intenção de design original e não introduz regressões.

No estudo da Northwestern, cerca de um terço dos patches do Claude Opus 4.7 que eliminaram o crash falharam nos testes de alinhamento dos responsáveis – aproximadamente quatro em cada dez patches pareciam eficazes à primeira vista, mas não satisfaziam a bateria completa de verificações dos programadores.

Fontes de viés no desenho dos benchmarks

O artigo arXiv “On the Reliability of LLM‑Based Vulnerability Patching Benchmarks” identifica três dimensões de viés: fatores ao nível do agente, como prompts e ferramentas; questões do quadro de avaliação, incluindo erros de permissão, bugs de infraestrutura e gestão de tempos limite; e problemas ao nível do conjunto de dados, onde um único teste PoC não capta a causa raiz da vulnerabilidade.

Os autores do estudo arXiv organizaram o mesmo conjunto de 112 bugs, mas acrescentaram os testes de regressão e os testes adicionais dos programadores usados para avaliar o alinhamento com os princípios de design originais. A sua análise confirma que mesmo os modelos mais recentes têm dificuldade em passar estes testes suplementares, melhorando apenas marginalmente em relação ao desempenho de linha de base.

Impacto das instruções explícitas

Os investigadores da Northwestern relataram que dar à IA instruções explícitas sobre como compilar e testar o código aumentou a taxa de sucesso nos bugs C/C++ em 20 pontos percentuais. A melhoria ocorreu sem qualquer alteração ao modelo subjacente, sublinhando a importância da engenharia de prompts e da orientação baseada em testes.

Ambos os estudos concordam que as pontuações dos benchmarks são altamente sensíveis às escolhas de avaliação. O acesso ao histórico Git, respostas pré‑carregadas no conjunto de dados ou a forma como os tempos limite são contabilizados podem inflar ou reduzir artificialmente o desempenho reportado.

• Verificar se os testes dos responsáveis fazem parte da pontuação
• Confirmar se o agente pode aceder à Internet ou ao histórico Git
• Documentar o prompt exato usado para instruções de compilação e teste
• Entender como os tempos limite e erros de pipeline são contabilizados

A recomendação que emerge da pesquisa é examinar criticamente quaisquer números divulgados por ferramentas de remediação de IA à luz destes quatro critérios. Sem esta diligência, as organizações correm o risco de adoptar soluções que parecem impressionantes no papel, mas falham em entregar patches fiáveis e compatíveis com a base de código existente.

Para uma organização que opera em Portugal, a lição prática é clara: uma elevada taxa de prevenção de crashes não garante que um patch sobreviva à bateria completa de testes dos programadores. Os decisores devem exigir metodologias de benchmark que incluam testes de regressão criados pelos responsáveis, que revelem qualquer acesso a dados externos e que sejam transparentes quanto ao design dos prompts e à gestão de tempos limite. Só assim poderão confiar que um patch gerado por IA se integrará limpo nos repositórios de produção sem introduzir defeitos ocultos.