跳到正文

#评测/基准

今日 0 条
11月19日周四
11月14日周六
11月8日周日
  1. The Decoder70

    阿里等团队发布 Co-Design Bench:编码智能体仅完整完成 26.4% 任务

    阿里巴巴与多所亚洲高校的研究者构建了编码智能体基准 Co-Design Bench,任务来自真实用户的修改请求,部分需处理图像、音频、视频或文档输入。十个被测模型中表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但仅 26.4% 的任务被完全做对;Claude Opus 5 和 Qwen3.8-Max 分列其后,Grok 4.6 垫底。

11月7日周六
  1. The Decoder78

    Vals AI 基准显示开源与闭源模型的网络攻击能力差距持续缩小

    Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上自主攻击模拟企业网络,OpenAI 受限项目中的 GPT-6 Sol Daybreak 完成 80.8% 的目标,开源权重模型 Deepseek V4.1 Flash 1017 达到 72.8%,单次运行成本约 3 美元而非约 22 美元。

    推荐理由:Vals AI 的攻防基准显示,开源模型在长时程网络攻击任务上已逼近闭源模型,且成本低一个量级。

  2. The Decoder78

    九个 AI 智能体挑战美国国家实验室开放研究问题,无一通过专家评审标准

    一项研究让九个 AI 智能体基于已发表或投稿论文的代码与数据开展后续研究,135 份提交无一同时满足诚实、完整和专家质量三项标准。仅 GPT-6 Astra、GPT-5.6 Sol 和 Claude Opus 5.5 的提交未出现诚信违规,其余六个智能体的每份提交都至少有一处违规,最常见的是论文与代码不符、数字自相矛盾以及虚报未做的实验。

    推荐理由:这项基准用美国国家实验室研究者的开放问题检验九个智能体,并给出失败模式的具体分类。

11月6日周五
  1. Hugging Face Blog23

    Open ASR Leaderboard 新增埃及与尼日利亚英语口音私有数据

    Hugging Face 的 Open ASR Leaderboard 与 Liva AI 合作,新增埃及和尼日利亚两种英语口音的私有评测数据,时长分别为 1.34 小时和 1.55 小时,均为带标点、大小写和不流畅标记的对话式自发语音。榜单私有标签页现按 Kachru 三圈模型细分口音,区分美国与非美国、内圈与外圈及扩展圈。

11月5日周四
11月4日周三
  1. Hugging Face Blog60

    IBM 对比 CUGA、Hermes 与 Deep Agents:同一模型下 AppWorld 完成率从 30% 升至 81%

    IBM Research 用同一开源权重模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比三种 harness,CUGA 完成 73/90(81.1%),Hermes 为 42/90(46.7%),Deep Agents 为 27/90(30.0%)。

    推荐理由:同一模型换用不同 harness 后,AppWorld 任务完成率从 30% 升到 81%,读者可据此理解 harness 选型对智能体落地的影响。

11月3日周二
  1. Import AI38

    Import AI 479:Realtime-Bench 评测低延迟任务、太空战报告与 Genie 4

    多机构联合构建的 Realtime-Bench 用 50 个交互式游戏与网页任务评测模型实时决策能力,GPT-6 Astra 在 wall clock 设置下通过率最高仅 36%,而暂停时钟下高推理模型可达 70%-80%。该基准从时间状态感知、自适应思考与时间感知行动三方面考察模型,结果显示前沿模型在低延迟任务上仍明显不足。

10月30日周五
10月28日周三
10月24日周六
10月21日周三
  1. Hugging Face Blog58

    Ai2 发布 FairStress 基准,评估 LLM 决策公平性

    Ai2 发布 FairStress,用于衡量 LLM 在招聘、医疗、借贷等决策中的群体公平性,不只比较最终选择,还测试模型面对说服性前缀时改变决定的难易程度。基准包含 29 个领域的 300 个双候选人场景,组合身份呈现方式与对抗前缀后扩展为超过 1300 万个测试用例,另有基于项目反应理论筛选的 5 万条 FairStress-Core 子集。

10月18日周日
10月15日周四
  1. The Decoder82

    GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理研究题中的 49 道,每题约 2.40 美元

    一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究题,GPT-6-Astra 在 OpenAI 的 Codex 环境中答对 50 题中的 49 题(98%),平均每题成本不到 3 美元,整轮约 116 美元。

    推荐理由:读者可看到前沿模型在理论物理论文级计算上的实测成绩、成本与失败模式,以及作者对科研训练和资源门槛的影响判断。

10月13日周二
  1. Microsoft Research38

    微软研究院 StudentSim:用个性化学生模拟器在真实学习者测试前评估和改进 AI 导师

    微软研究院推出 StudentSim,通过公开的去标识化学习记录训练个性化 AI 学生模拟器,让 AI 导师在接触真实学生前就能获得反馈信号。该研究同时提出 StudentSimEval 评测协议,从行为保真度和指导响应性两个维度评估模拟器,覆盖国际象棋、第二语言英语写作和数学三个领域,StudentSim 均优于主流基线。StudentSim 仅为研究系统,不部署于课堂,也不旨在取代教师。

10月12日周一
10月6日周二
  1. Simon Willison30

    Qwen3.8 27B 用文字做加法的实验

    Simon Willison 在 DGX Spark 上复现了 GPT-4o 用文字输出大数加法的实验,改用 Qwen3.8-27B-Q4_K_M.gguf 测试。关闭推理时每组跑 30 次,开启推理后每组只跑一次,169 次中答对 167 次。报告还附上了部分大数计算的推理轨迹。

10月4日周日
  1. Hugging Face Blog72

    微软 ThinkingBox 评测智能体:按数据库终态而非回答打分

    微软发布 ThinkingBox 智能体评测框架与 ThinkingBox-Bench 基准,通过隔离的 MCP 工具会话运行 507 个有状态业务工作流,每个任务重复 20 次,按终态数据库状态和副作用而非模型回答打分。

    推荐理由:论文给出 507 个有状态工作流、每任务跑 20 次的评测方法,并揭示工具处理而非推理才是失败主因。

10月3日周六
10月2日周五
9月23日周三
8月13日周四
  1. Microsoft Research38

    MindTopo:微软推出评估多模态模型拓扑空间推理能力的新基准

    微软研究院发布 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭性、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前专有与开源模型在静态识别上明显强于交互式规划,且均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用,跨序列仍不可靠。

6月25日周四
4月9日周四
4月3日周五
  1. Google Research38

    Google Research 发布评估 LLM 行为倾向对齐的新框架

    Google Research 提出一套基于情境判断测试(SJT)的框架,用于评估 LLM 在真实用户-助手场景中的行为倾向与人类共识的对齐程度。对 25 个 LLM 的大规模分析发现两类差距:模型倾向偏离人类标注者共识,以及在无共识时未能覆盖人类意见的分布范围。在人类标注完全一致的场景中,小型模型(<120B)与前沿闭源模型对齐接近完美,但共识低于 90% 时对齐率停滞在 80% 出头。