ThinkingBox, 데이터베이스 결과와 반복 신뢰성으로 AI 에이전트를 평가

2026년 10월 4일 – Microsoft 연구원들은 Hugging Face에 ThinkingBox를 공개했으며, 외부 도구와 상호 작용하는 대형 언어 모델(LLM) 에이전트를 평가하는 새로운 방식을 도입했습니다. 기존 벤치마크가 올바른 자연어 답변이나 구문적으로 유효한 도구 호출을 보상하는 것과 달리, ThinkingBox는 비즈니스 워크플로를 실행한 후 백엔드 데이터베이스의 최종 상태와 부수 효과를 측정합니다. 이 벤치마크는 주문 입력, 재고 업데이트, 고객 기록 수정과 같은 507개의 서로 다른 상태 기반 비즈니스 프로세스를 포함하며, 각각을 Microsoft Copilot(MCP) 도구 세션에서 20번씩 격리된 환경에서 실행합니다. 실제 데이터베이스 결과에 초점을 맞춤으로써, 이 스위트는 반복적인 실제 사용 후에만 나타나는 신뢰성 문제를 드러내는 것을 목표로 합니다.

ThinkingBox 작동 방식

507개의 워크플로 각각은 관계형 데이터베이스를 조작하는 일련의 도구 호출로 인코딩됩니다. 벤치마크는 각 시도마다 MCP 도구 환경을 완전히 격리하여 실행하므로, 실행 간 교차 오염이 오류를 가릴 수 없도록 보장합니다. 에이전트가 실행을 마치면 ThinkingBox는 최종 데이터베이스 스냅샷을 검사하고, 예상되는 행, 열 값 및 감사 로그와 같은 부수 효과를 열거한 기준 사양과 비교합니다. 채점 기준은 에이전트가 유창한 텍스트 요약을 생성했는지는 고려하지 않으며, 백엔드 상태가 사양과 일치하는지, 의도하지 않은 변경이 발생했는지, 도구가 오류를 보고했는지만 기록합니다.

평가에는 오픈 소스 모델부터 상용 제품에 이르기까지 12개의 공개된 LLM 에이전트가 포함되었습니다. 전체 실험에서는 507개의 워크플로, 20번의 반복, 12개의 모델을 곱한 121,680개의 유효한 시도가 생성되었습니다. 이 중 79,853건은 실행 가능성 검사 단계에서 실패했으며, 이는 에이전트가 필수 도구 호출을 하지 않았거나 파싱할 수 없는 호출을 생성했음을 의미합니다. 특히, 실패한 시도 중 67.24 %는 최종 도구 오류 없이 종료되었으며, 최소 하나의 상태 변경 도구를 호출한 뒤 중단되었습니다. 이 패턴은 에이전트가 겉으로는 성공한 것처럼 보이지만 데이터베이스에 숨겨진 불일치가 남아 있는 상황을 강조합니다.

핵심 발견

실행 가능성 검사를 통과하지 못한 시도에 대해 벤치마크는 세 가지 편차 범주를 기록했습니다. 잘못된 필드 값은 실패한 시도의 77.61 %에서 나타났으며, 이는 도구 호출이 성공했더라도 에이전트가 종종 부정확한 데이터를 기록한다는 것을 의미합니다. 의도하지 않은 효과—워크플로에 명시되지 않은 데이터베이스 부분을 변경하는 동작—는 실패의 43.30 %에서 관찰되었고, 기대된 효과가 전혀 발생하지 않은 누락 효과는 25.36 %에서 발생했습니다. 이러한 비율은 단일 실행이 여러 오류 유형을 동시에 보일 수 있기 때문에 겹칠 수 있습니다. 이러한 수치는 도구 기반 실패의 대부분이 데이터베이스를 일관성 없거나 부분적으로만 올바른 상태로 남긴다는 점을 보여줍니다.

모델별 성능은 크게 차이를 보였습니다. Claude Opus 5.5는 가장 높은 pass@1 점수를 기록했으며, 121,680개의 시도 중 67.16 %를 첫 번째 시도에서 성공했습니다. Kimi‑K3는 다른 프로파일을 보였는데, 20번의 반복 중 최소 한 번이라도 작업을 해결한 비율은 93.89 %였지만, 모든 20번 실행에서 성공한 비율은 13.41 %에 불과했습니다. 이 대비는 단일 최상의 실행이 아니라 반복 실행에서의 신뢰성을 측정하는 것이 중요함을 강조합니다. 나머지 모델들은 이 극단 사이에 군집했으며, 많은 모델이 pass@1 비율이 50 % 이하이고 반복 간 변동성이 크게 나타났습니다.

벤치마크의 제한점

ThinkingBox는 의도적으로 선별된 비즈니스 워크플로 집합에 초점을 맞추고 있으며, 저자들은 이 수치가 기업이 마주할 모든 생산 시나리오를 대표하지는 않는다고 강조합니다. 벤치마크는 각 시도를 새로운 MCP 세션에서 격리하므로, 장기적인 상태 누적, 캐싱, 혹은 실시간 시스템에서 발생하는 워크플로 간 의존성의 영향을 제거합니다. 또한 평가 대상은 관계형 데이터베이스 결과에 국한되며, 비SQL 서비스, 파일 시스템, 외부 API와 상호 작용하는 에이전트는 포함되지 않습니다. 마지막으로, 메트릭은 기준 사양과의 모든 편차를 실패로 간주하는데, 특정 비즈니스 상황에서는 이러한 편차가 해가 되지 않을 수도 있습니다.

• 121,680개의 전체 시도 중 79,853건이 실행 가능성 검사에 실패했습니다.
• 실패한 시도 중 67.24 %가 최종 도구 오류 없이 정상 종료되었습니다.
• 실패 중 77.61 %는 데이터베이스에 잘못된 필드 값을 기록했습니다.
• 실패 중 43.30 %는 의도하지 않은 부수 효과를 발생시켰습니다.
• 실패 중 25.36 %는 기대된 효과가 누락되었습니다.
• Claude Opus 5.5가 pass@1에서 67.16 % 성공률로 최고를 기록했습니다.
• Kimi‑K3는 작업을 최소 한 번은 93.89 % 해결했지만, 20번 모두 성공한 비율은 13.41 %에 불과했습니다.

실제적인 시사점은 AI 기반 자동화를 구축하는 개발자들에게 즉각적입니다. 에이전트가 조용히 잘못된 데이터를 쓰거나 필요한 업데이트를 놓치는 빈도를 공개함으로써, ThinkingBox는 “도구 호출이 성공했는가?”에서 “데이터베이스가 올바르게 업데이트 되었는가?”로 초점을 전환하도록 장려합니다. 팀은 이제 이 벤치마크를 활용해 견고성 테스트를 우선순위에 두고, 보상 트랜잭션을 추가하거나 멱등성을 더 잘 보장하도록 프롬프트를 재설계할 수 있습니다. 데이터는 또한 공급업체에게 구체적인 목표를 제공합니다: 단일 샷 높은 통과율이 아니라 실행 간 반복 가능성을 향상시키는 것이 목표입니다. 기업이 핵심 백오피스 작업에 LLM 에이전트를 도입함에 따라, 기본 데이터가 신뢰할 수 있는지를 인증하는 능력이 경쟁 우위가 됩니다.

앞으로 Microsoft와 광범위한 연구 커뮤니티는 ThinkingBox를 추가 워크플로 카테고리, 더 풍부한 부수 효과 추적, 지속적 통합 파이프라인과의 연계 등으로 확장할 계획입니다. 이 벤치마크는 이미 Hugging Face에 공개되어 있어, 누구든지 동일한 507개의 워크플로를 자신의 에이전트에 적용하고 공개된 기준선과 결과를 비교할 수 있습니다. 결과 중심 평가를 개방하고 재현 가능하게 함으로써, ThinkingBox는 산업이 AI 에이전트 신뢰성을 측정하는 방식을 변화시킬 준비가 되었으며, 표면 수준의 정확성에서 궁극적인 진실 원천인 데이터베이스가 의도된 비즈니스 결과를 반영하는지에 대한 깊은 질문으로 대화를 이동시킬 것입니다.