跳到正文
原文
Hugging Face Blog·· 2026-10-04精选AI 评分72

微软 ThinkingBox 评测智能体:按数据库终态而非回答打分

The Agent Said It Was Done. The Database Disagreed.

AI 导读

微软发布 ThinkingBox 智能体评测框架与 ThinkingBox-Bench 基准,通过隔离的 MCP 工具会话运行 507 个有状态业务工作流,每个任务重复 20 次,按终态数据库状态和副作用而非模型回答打分。

推荐理由

论文给出 507 个有状态工作流、每任务跑 20 次的评测方法,并揭示工具处理而非推理才是失败主因。

来源:Hugging Face Blog · huggingface.co