ThinkingBox califica a los agentes de IA según resultados de bases de datos y fiabilidad repetida

4 de octubre de 2026 – Investigadores de Microsoft publicaron ThinkingBox en Hugging Face, introduciendo una nueva forma de evaluar a los agentes de modelos de lenguaje grande (LLM) que interactúan con herramientas externas. A diferencia de los benchmarks anteriores que recompensan una respuesta correcta en lenguaje natural o una llamada a herramienta sintácticamente válida, ThinkingBox mide el estado final del backend y los efectos colaterales después de que un agente ejecuta un flujo de trabajo empresarial. El benchmark contiene 507 procesos empresariales con estado – como ingreso de pedidos, actualización de inventario o modificación de registros de clientes – cada uno ejecutado 20 veces en sesiones aisladas de Microsoft Copilot (MCP). Al centrarse en los resultados reales de la base de datos, el conjunto busca revelar problemas de fiabilidad que solo aparecen tras un uso repetido y real.

Cómo funciona ThinkingBox

Cada uno de los 507 flujos de trabajo está codificado como una secuencia de llamadas a herramientas que manipulan una base de datos relacional. El benchmark ejecuta un aislamiento completo del entorno de herramientas MCP para cada prueba, garantizando que no haya contaminación entre ejecuciones que pueda ocultar errores. Tras la finalización de la ejecución, ThinkingBox inspecciona la instantánea final de la base de datos y la compara con una especificación de referencia que enumera filas esperadas, valores de columnas y efectos colaterales como registros de auditoría. La rúbrica de calificación no considera si el agente produjo un resumen textual fluido; solo registra si el estado del backend coincide con la especificación, si se produjeron cambios no deseados y si alguna herramienta informó un error.

La evaluación abarcó 12 agentes LLM de acceso público, desde modelos de código abierto hasta ofertas comerciales. En total, el experimento generó 121 680 pruebas válidas – el producto de 507 flujos, 20 repeticiones y 12 modelos. De esas, 79 853 intentos fallaron la fase de verificación ejecutable, lo que significa que el agente no emitió una llamada a herramienta requerida o produjo una llamada que no pudo ser analizada. Notablemente, el 67,24 % de esos intentos fallidos aún terminaron sin un error final de herramienta, habiendo invocado al menos una herramienta que modifica el estado antes de detenerse. Este patrón destaca una desconexión entre el aparente éxito del agente y las inconsistencias ocultas que permanecen en la base de datos.

Hallazgos clave

Cuando una prueba falló la verificación ejecutable, el benchmark registró tres categorías de desviación. Valores de campo incorrectos aparecieron en el 77,61 % de los intentos fallidos, indicando que los agentes a menudo escribían datos erróneos incluso cuando la llamada a herramienta tuvo éxito. Los efectos no intencionados – acciones que alteraron partes de la base de datos no especificadas por el flujo – se observaron en el 43,30 % de los fallos, mientras que los efectos ausentes – cambios esperados que nunca se materializaron – ocurrieron en el 25,36 % de los casos. Los porcentajes se superponen porque una única ejecución puede presentar varios tipos de error simultáneamente. Estos números demuestran que la mayoría de los fallos impulsados por herramientas dejan la base de datos en un estado inconsistente o parcialmente correcto.

El rendimiento varió ampliamente entre los modelos. Claude Opus 5.5 alcanzó la mayor puntuación pass@1, logrando éxito en el 67,16 % de las 121 680 pruebas en su primer intento. Kimi‑K3 mostró un perfil diferente: resolvió el 93,89 % de las tareas al menos una vez a lo largo de las 20 repeticiones, pero solo el 13,41 % de las ejecuciones tuvo éxito en todas las repeticiones. Este contraste subraya la importancia de medir la fiabilidad a lo largo de ejecuciones repetidas en lugar de un único caso óptimo. Los modelos restantes se agruparon entre estos extremos, con muchos mostrando tasas pass@1 por debajo del 50 % y una variabilidad sustancial entre repeticiones.

Limitaciones del benchmark

ThinkingBox está deliberadamente limitado a un conjunto curado de flujos de trabajo empresariales, y los autores enfatizan que las cifras no representan todos los escenarios de producción que una empresa pueda encontrar. El benchmark aísla cada prueba en una nueva sesión MCP, lo que elimina la influencia de la acumulación de estado a largo plazo, el almacenamiento en caché o dependencias entre flujos que existen en sistemas en vivo. Además, la evaluación se centra en los resultados de bases de datos relacionales; los agentes que interactúan con servicios no SQL, sistemas de archivos o APIs externas no están cubiertos. Finalmente, la métrica trata cualquier desviación de la especificación de referencia como un fallo, incluso cuando la desviación podría ser inofensiva en un contexto empresarial específico.

• 79 853 intentos fallaron las verificaciones ejecutables de un total de 121 680 pruebas.
• El 67,24 % de los intentos fallidos terminaron limpiamente sin un error final de herramienta.
• El 77,61 % de los fallos reportaron valores de campo incorrectos en la base de datos.
• El 43,30 % de los fallos produjeron efectos secundarios no intencionados.
• El 25,36 % de los fallos omitieron efectos esperados.
• Claude Opus 5.5 lideró pass@1 con un 67,16 % de éxito.
• Kimi‑K3 resolvió el 93,89 % de las tareas al menos una vez pero solo el 13,41 % en todas las 20 ejecuciones.

Las implicaciones prácticas son inmediatas para los desarrolladores que construyen automatizaciones impulsadas por IA. Al exponer con qué frecuencia los agentes escriben silenciosamente datos incorrectos o omiten actualizaciones requeridas, ThinkingBox fomenta un cambio de "¿la llamada a la herramienta tuvo éxito?" a "¿la base de datos termina correcta?" Los equipos pueden ahora usar el benchmark para priorizar pruebas de robustez, añadir transacciones compensatorias o rediseñar prompts que refuercen un comportamiento idempotente. Los datos también ofrecen a los proveedores un objetivo concreto: mejorar la repetibilidad entre ejecuciones, no solo lograr una alta tasa de éxito en un solo intento. A medida que las empresas adoptan agentes LLM para tareas críticas de back‑office, la capacidad de certificar que los datos subyacentes siguen siendo confiables se convierte en un diferenciador competitivo.

De cara al futuro, Microsoft y la comunidad investigadora más amplia planean ampliar ThinkingBox con categorías de flujos adicionales, un seguimiento más rico de efectos colaterales e integración con pipelines de integración continua. El benchmark ya está disponible en Hugging Face, permitiendo a cualquiera ejecutar los mismos 507 flujos contra sus propios agentes y comparar los resultados con la línea base publicada. Al hacer que la evaluación centrada en resultados sea abierta y repetible, ThinkingBox está preparado para cambiar la forma en que la industria mide la fiabilidad de los agentes de IA, trasladando la conversación de la corrección superficial a la cuestión más profunda de si la base de datos – la fuente última de verdad – refleja el resultado empresarial previsto.