Amazon SageMaker JumpStart 模型排行榜发布
AWS 在 SageMaker Studio 推出 JumpStart Model Leaderboard,可在同一页面按质量、速度、成本横向对比 70+ 个开放权重模型,覆盖 Meta、Google、Qwen、IBM、Arcee 等提供商。
AWS 在 SageMaker Studio 推出 JumpStart Model Leaderboard,可在同一页面按质量、速度、成本横向对比 70+ 个开放权重模型,覆盖 Meta、Google、Qwen、IBM、Arcee 等提供商。
Ai2 联合 CMU、NVIDIA 和约翰霍普金斯大学发布 XYBench,一个含 8,115 个真实问题的基准,专门测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导其解决真正目标,该基准获 EMNLP 2026 最佳资源论文奖。
AWS 提出 Agent Development Lifecycle(Agent DLC),用一个生命周期、两个循环和统一的验收标准来判定智能体的每次变更是否可上线。
Amazon Bedrock AgentCore Evaluations 提供内置、DeepEval 和 AutoEval 三类评估器,内置评估器由 AWS 编写并经过质量测试,共 16 个,涵盖响应质量、任务完成、工具使用、技能和安全五组。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的基准,用于衡量 AI 智能体解读原始实验数据和处理日常湿实验室科学的能力。
Hugging Face 的 Open ASR Leaderboard 与 Liva AI 合作,新增埃及和尼日利亚两种英语口音的私有评测数据,时长分别为 1.34 小时和 1.55 小时,均为带标点、大小写和不流畅标记的对话式自发语音。榜单私有标签页现按 Kachru 三圈模型细分口音,区分美国与非美国、内圈与外圈及扩展圈。
Amazon Bedrock AgentCore Evaluations 可通过代码型评估器接入决策模型,把评估输入转换为决策模型请求、再把概率还原为评估结果。
Collinear AI 在 Hugging Face 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化、可复现。
IBM Research 用同一开源权重模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比三种 harness,CUGA 完成 73/90(81.1%),Hermes 为 42/90(46.7%),Deep Agents 为 27/90(30.0%)。
推荐理由:同一模型换用不同 harness 后,AppWorld 任务完成率从 30% 升到 81%,读者可据此理解 harness 选型对智能体落地的影响。
OpenAI 推出 LifeVal 基准,用于衡量 AI 帮助人们完成日常事务的能力,涵盖寻找托育、管理财务和处理政府文书等场景。
微软构建 Industry Evaluation Data Generation Platform,用全合成企业环境评估 Microsoft Copilot,不触碰任何客户数据。
Ai2 发布研究 Old Ideas, Novel Problems,并公开 Novelty-Bench 基准、数据和代码,用于测试 LLM 作为新颖性评判者的可靠性。
Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在对比中天然处于劣势。团队重新人工标注 356 张 UAE 图像,将单标签改为多标签分类,并通过 v0 到 v27 的提示词优化循环在 Amazon Bedrock 上选型,最终实现准确率提升且成本降低 86%。
Ai2 发布 FairStress,用于衡量 LLM 在招聘、医疗、借贷等决策中的群体公平性,不只比较最终选择,还测试模型面对说服性前缀时改变决定的难易程度。基准包含 29 个领域的 300 个双候选人场景,组合身份呈现方式与对抗前缀后扩展为超过 1300 万个测试用例,另有基于项目反应理论筛选的 5 万条 FairStress-Core 子集。
OpenAI 正在改进 ChatGPT 在低资源编程语言上的表现,并新增了针对软件工程、SQLite 和 COBOL 迁移的评测。
AWS 销售、营销与全球服务(SMGS)运营团队基于 Amazon Bedrock AgentCore 搭建了面向全球 AWS 现场销售的多智能体系统,并用 AgentCore Evaluations 构建全生命周期评估框架。
微软研究院推出 StudentSim,通过公开的去标识化学习记录训练个性化 AI 学生模拟器,让 AI 导师在接触真实学生前就能获得反馈信号。该研究同时提出 StudentSimEval 评测协议,从行为保真度和指导响应性两个维度评估模拟器,覆盖国际象棋、第二语言英语写作和数学三个领域,StudentSim 均优于主流基线。StudentSim 仅为研究系统,不部署于课堂,也不旨在取代教师。
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享与当前 AI 系统协作的实用建议,并强调当结果偏离预期时应仔细审视数据。
Amazon Bedrock AgentCore Evaluations 支持内置与自定义评估器,可衡量多智能体系统的有用性、任务成功率和指令遵循等质量维度,并支持按需与在线两种模式。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub PR 的分布特征构建,包含 187 个开源仓库、19 种语言的 219 个 PR。
推荐理由:GitHub 公开了 AI 代码审查基准的构建方法、评分口径与验证数据,可据此比较不同审查智能体。
微软发布 ThinkingBox 智能体评测框架与 ThinkingBox-Bench 基准,通过隔离的 MCP 工具会话运行 507 个有状态业务工作流,每个任务重复 20 次,按终态数据库状态和副作用而非模型回答打分。
推荐理由:论文给出 507 个有状态工作流、每任务跑 20 次的评测方法,并揭示工具处理而非推理才是失败主因。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
微软研究院发布 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭性、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前专有与开源模型在静态识别上明显强于交互式规划,且均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用,跨序列仍不可靠。
Google Research 在 COLM 2026 论文中发现,开启推理能让 Gemini-2.5(Flash、Pro)和 Qwen3-32B 在 SimpleQA Verified、EntityQuestions 上召回关闭推理时几乎无法获得的答案。
Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天预测飓风 Melissa 在牙买加以 Category 5 强度登陆,置信度达 80%,三天前升至接近 100%。
推荐理由:原文给出 WeatherNext 在飓风路径与强度预测上的实测表现,读者可据此了解 AI 天气模型的实际预报能力。
Google Research 发布 ConvApparel 数据集,包含 4000 多段、近 15000 轮服装购物场景的人机多轮对话,用于量化 LLM 用户模拟器与真实人类的真实感差距。
Google Research 提出一套基于情境判断测试(SJT)的框架,用于评估 LLM 在真实用户-助手场景中的行为倾向与人类共识的对齐程度。对 25 个 LLM 的大规模分析发现两类差距:模型倾向偏离人类标注者共识,以及在无共识时未能覆盖人类意见的分布范围。在人类标注完全一致的场景中,小型模型(<120B)与前沿闭源模型对齐接近完美,但共识低于 90% 时对齐率停滞在 80% 出头。