跳到正文

#评测/基准

今日 0 条
11月19日周四
11月14日周六
11月13日周五
11月11日周三
11月7日周六
11月6日周五
  1. Hugging Face Blog23

    Open ASR Leaderboard 新增埃及与尼日利亚英语口音私有数据

    Hugging Face 的 Open ASR Leaderboard 与 Liva AI 合作,新增埃及和尼日利亚两种英语口音的私有评测数据,时长分别为 1.34 小时和 1.55 小时,均为带标点、大小写和不流畅标记的对话式自发语音。榜单私有标签页现按 Kachru 三圈模型细分口音,区分美国与非美国、内圈与外圈及扩展圈。

11月5日周四
11月4日周三
  1. Hugging Face Blog60

    IBM 对比 CUGA、Hermes 与 Deep Agents:同一模型下 AppWorld 完成率从 30% 升至 81%

    IBM Research 用同一开源权重模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比三种 harness,CUGA 完成 73/90(81.1%),Hermes 为 42/90(46.7%),Deep Agents 为 27/90(30.0%)。

    推荐理由:同一模型换用不同 harness 后,AppWorld 任务完成率从 30% 升到 81%,读者可据此理解 harness 选型对智能体落地的影响。

11月3日周二
10月30日周五
10月28日周三
  1. AWS Machine Learning Blog40

    Property Finder 如何修正评估偏差,在 Amazon Bedrock 上选出更优模型

    Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在对比中天然处于劣势。团队重新人工标注 356 张 UAE 图像,将单标签改为多标签分类,并通过 v0 到 v27 的提示词优化循环在 Amazon Bedrock 上选型,最终实现准确率提升且成本降低 86%。

10月21日周三
  1. Hugging Face Blog58

    Ai2 发布 FairStress 基准,评估 LLM 决策公平性

    Ai2 发布 FairStress,用于衡量 LLM 在招聘、医疗、借贷等决策中的群体公平性,不只比较最终选择,还测试模型面对说服性前缀时改变决定的难易程度。基准包含 29 个领域的 300 个双候选人场景,组合身份呈现方式与对抗前缀后扩展为超过 1300 万个测试用例,另有基于项目反应理论筛选的 5 万条 FairStress-Core 子集。

10月20日周二
10月17日周六
10月13日周二
  1. Microsoft Research38

    微软研究院 StudentSim:用个性化学生模拟器在真实学习者测试前评估和改进 AI 导师

    微软研究院推出 StudentSim,通过公开的去标识化学习记录训练个性化 AI 学生模拟器,让 AI 导师在接触真实学生前就能获得反馈信号。该研究同时提出 StudentSimEval 评测协议,从行为保真度和指导响应性两个维度评估模拟器,覆盖国际象棋、第二语言英语写作和数学三个领域,StudentSim 均优于主流基线。StudentSim 仅为研究系统,不部署于课堂,也不旨在取代教师。

10月7日周三
  1. Microsoft Research22

    Microsoft 研究员 Jennifer Neville:AI 评测如何暴露模型的“意外失败”

    Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享与当前 AI 系统协作的实用建议,并强调当结果偏离预期时应仔细审视数据。

10月6日周二
10月4日周日
  1. Hugging Face Blog72

    微软 ThinkingBox 评测智能体:按数据库终态而非回答打分

    微软发布 ThinkingBox 智能体评测框架与 ThinkingBox-Bench 基准,通过隔离的 MCP 工具会话运行 507 个有状态业务工作流,每个任务重复 20 次,按终态数据库状态和副作用而非模型回答打分。

    推荐理由:论文给出 507 个有状态工作流、每任务跑 20 次的评测方法,并揭示工具处理而非推理才是失败主因。

10月1日周四
9月23日周三
8月13日周四
  1. Microsoft Research38

    MindTopo:微软推出评估多模态模型拓扑空间推理能力的新基准

    微软研究院发布 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭性、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前专有与开源模型在静态识别上明显强于交互式规划,且均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用,跨序列仍不可靠。

6月25日周四
5月16日周六
  1. Google DeepMind62

    WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加

    Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天预测飓风 Melissa 在牙买加以 Category 5 强度登陆,置信度达 80%,三天前升至接近 100%。

    推荐理由:原文给出 WeatherNext 在飓风路径与强度预测上的实测表现,读者可据此了解 AI 天气模型的实际预报能力。

4月9日周四
4月3日周五
  1. Google Research38

    Google Research 发布评估 LLM 行为倾向对齐的新框架

    Google Research 提出一套基于情境判断测试(SJT)的框架,用于评估 LLM 在真实用户-助手场景中的行为倾向与人类共识的对齐程度。对 25 个 LLM 的大规模分析发现两类差距:模型倾向偏离人类标注者共识,以及在无共识时未能覆盖人类意见的分布范围。在人类标注完全一致的场景中,小型模型(<120B)与前沿闭源模型对齐接近完美,但共识低于 90% 时对齐率停滞在 80% 出头。