ThinkingBox 对 AI 代理进行数据库结果与重复可靠性评分

2026 年 10 月 4 日——微软研究人员在 Hugging Face 上发布了 ThinkingBox，提出了一种全新的评估大型语言模型（LLM）代理与外部工具交互方式的方法。不同于以往奖励正确自然语言答案或语法有效的工具调用的基准，ThinkingBox 通过评估代理运行业务工作流后后端数据库的最终状态以及产生的副作用来进行评分。该基准包含 507 种不同的有状态业务流程——例如订单录入、库存更新或客户记录修改——每种流程在隔离的 Microsoft Copilot（MCP）工具会话中重复执行 20 次。通过聚焦实际的数据库结果，该套件旨在揭示仅在重复、真实使用后才会出现的可靠性问题。

ThinkingBox 的工作原理

这 507 条工作流均被编码为一系列操作关系型数据库的工具调用。基准为每一次试验都在全新隔离的 MCP 工具环境中运行，确保不存在跨运行的污染，从而不会掩盖错误。代理完成一次运行后，ThinkingBox 会检查最终的数据库快照，并将其与列出预期行、列值以及审计日志等副作用的真实规范进行比对。评分标准不考虑代理是否生成了流畅的文本摘要；它仅记录后端状态是否与规范匹配、是否出现了非预期的更改，以及是否有工具报告错误。

本次评估覆盖了 12 种公开可用的 LLM 代理，范围从开源模型到商业化产品。实验共生成了 121,680 次有效试验——即 507 条工作流 × 20 次重复 × 12 种模型的乘积。其中，79,853 次尝试在可执行性检查阶段失败，意味着代理要么未发出所需的工具调用，要么发出的调用无法被解析。值得注意的是，这些失败尝试中有 67.24 % 在没有最终工具错误的情况下结束，至少调用了一次会改变状态的工具后便停止。这一模式凸显了代理表面成功与数据库中潜在不一致之间的脱节。

关键发现

当一次试验未通过可执行性检查时，基准记录了三类偏差。错误字段值出现在 77.61 % 的失败尝试中，说明即使工具调用成功，代理仍常写入错误数据。非预期效果——即对工作流未指定的数据库部分进行更改——在 43.30 % 的失败中被观察到，而缺失效果——即预期的更改从未出现——则出现在 25.36 % 的案例中。这些百分比会重叠，因为一次运行可能同时出现多种错误类型。这些数字表明，大多数工具驱动的失败仍会让数据库处于不一致或仅部分正确的状态。

不同模型的表现差异显著。Claude Opus 5.5 获得了最高的 pass@1 分数，在 121,680 次试验的首次尝试中成功率为 67.16 %。Kimi‑K3 则呈现出不同的特征：它在 20 次重复中至少一次成功完成了 93.89 % 的任务，但只有 13.41 % 的运行在所有 20 次重复中全部成功。此对比凸显了衡量可靠性时需要关注重复执行的表现，而非单次最佳运行。其余模型则分布在这两个极端之间，许多模型的 pass@1 率低于 50 %，且在不同重复之间表现出显著波动。

基准的局限性

ThinkingBox 有意限定在一套精心策划的业务工作流上，作者强调这些数字并不代表企业可能遇到的所有生产场景。基准在每次试验中使用全新 MCP 会话进行隔离，这会去除长期状态累积、缓存或跨工作流依赖等在真实系统中存在的影响。此外，评估仅关注关系型数据库的结果；与非 SQL 服务、文件系统或外部 API 交互的代理未被覆盖。最后，指标将任何偏离真实规范的情况视为失败，即使在特定业务上下文中该偏差可能并无害。

• 79,853 次尝试在 121,680 次总试验中未通过可执行性检查。
• 67.24 % 的失败尝试在没有最终工具错误的情况下顺利结束。
• 77.61 % 的失败报告了数据库中错误的字段值。
• 43.30 % 的失败产生了非预期的副作用。
• 25.36 % 的失败遗漏了预期的效果。
• Claude Opus 5.5 以 67.16 % 的成功率领跑 pass@1。
• Kimi‑K3 在至少一次完成任务的比例为 93.89 %，但在全部 20 次运行中全部成功的比例仅为 13.41 %。

这些实际意义立刻对构建 AI 驱动自动化的开发者产生影响。通过揭示代理何时悄悄写入错误数据或遗漏必要更新，ThinkingBox 鼓励从“工具调用是否成功？”转向“数据库最终是否正确？”的思考方式。团队现在可以利用该基准优先进行稳健性测试、添加补偿事务，或重新设计提示以更好地强制幂等行为。数据同样为供应商提供了具体目标：提升跨运行的可重复性，而不仅仅是实现高单次通过率。随着企业在关键后台任务中采用 LLM 代理，能够证明底层数据保持可信将成为竞争优势的关键因素。

展望未来，微软及更广泛的研究社区计划在 ThinkingBox 中加入更多工作流类别、更丰富的副作用追踪，并与持续集成流水线集成。该基准已在 Hugging Face 上公开，任何人都可以使用自己的代理运行相同的 507 条工作流，并将结果与已发布的基准线进行比较。通过让以结果为中心的评估保持开放且可重复，ThinkingBox 有望改变行业衡量 AI 代理可靠性的方式，将讨论从表层正确性转向更深层次的——数据库这一最终真相是否反映了预期的业务结果。