跳到正文

#评测/基准

今日 0 条
10月28日周三
  1. AWS Machine Learning Blog40

    Property Finder 如何修正评估偏差,在 Amazon Bedrock 上选出更优模型

    Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在对比中天然处于劣势。团队重新人工标注 356 张 UAE 图像,将单标签改为多标签分类,并通过 v0 到 v27 的提示词优化循环在 Amazon Bedrock 上选型,最终实现准确率提升且成本降低 86%。

10月24日周六
10月21日周三
  1. Hugging Face Blog58

    Ai2 发布 FairStress 基准,评估 LLM 决策公平性

    Ai2 发布 FairStress,用于衡量 LLM 在招聘、医疗、借贷等决策中的群体公平性,不只比较最终选择,还测试模型面对说服性前缀时改变决定的难易程度。基准包含 29 个领域的 300 个双候选人场景,组合身份呈现方式与对抗前缀后扩展为超过 1300 万个测试用例,另有基于项目反应理论筛选的 5 万条 FairStress-Core 子集。

10月20日周二
10月18日周日
10月17日周六
10月16日周五
10月15日周四
  1. The Decoder82

    GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理研究题中的 49 道,每题约 2.40 美元

    一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究题,GPT-6-Astra 在 OpenAI 的 Codex 环境中答对 50 题中的 49 题(98%),平均每题成本不到 3 美元,整轮约 116 美元。

    推荐理由:读者可看到前沿模型在理论物理论文级计算上的实测成绩、成本与失败模式,以及作者对科研训练和资源门槛的影响判断。

10月13日周二
  1. Microsoft Research38

    微软研究院 StudentSim:用个性化学生模拟器在真实学习者测试前评估和改进 AI 导师

    微软研究院推出 StudentSim,通过公开的去标识化学习记录训练个性化 AI 学生模拟器,让 AI 导师在接触真实学生前就能获得反馈信号。该研究同时提出 StudentSimEval 评测协议,从行为保真度和指导响应性两个维度评估模拟器,覆盖国际象棋、第二语言英语写作和数学三个领域,StudentSim 均优于主流基线。StudentSim 仅为研究系统,不部署于课堂,也不旨在取代教师。

10月12日周一
10月9日周五
10月7日周三
  1. Microsoft Research22

    Microsoft 研究员 Jennifer Neville:AI 评测如何暴露模型的“意外失败”

    Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享与当前 AI 系统协作的实用建议,并强调当结果偏离预期时应仔细审视数据。

10月6日周二
  1. Simon Willison30

    Qwen3.8 27B 用文字做加法的实验

    Simon Willison 在 DGX Spark 上复现了 GPT-4o 用文字输出大数加法的实验,改用 Qwen3.8-27B-Q4_K_M.gguf 测试。关闭推理时每组跑 30 次,开启推理后每组只跑一次,169 次中答对 167 次。报告还附上了部分大数计算的推理轨迹。

10月5日周一
  1. Import AI22

    Import AI 475:群体扩展、Google DeepMind 生物水印与 AI 科学经济

    Toby Ord 分析指出,AI 群体(swarm)本质是一种新的推理扩展方式,4 智能体群体达到同等性能需约两倍 token,但每智能体 token 减半,理论上可将任务时间缩短一半。Google DeepMind 推出 SynthID Bio,为合成生物学数据加水印以强化生物安全。CSAIP 民调显示 61% 美国人认为 AI 公司自愿自律"不够",54% 认为政府应制定并执行 AI 规则。

10月4日周日
  1. Hugging Face Blog72

    微软 ThinkingBox 评测智能体:按数据库终态而非回答打分

    微软发布 ThinkingBox 智能体评测框架与 ThinkingBox-Bench 基准,通过隔离的 MCP 工具会话运行 507 个有状态业务工作流,每个任务重复 20 次,按终态数据库状态和副作用而非模型回答打分。

    推荐理由:论文给出 507 个有状态工作流、每任务跑 20 次的评测方法,并揭示工具处理而非推理才是失败主因。

10月3日周六
10月2日周五
10月1日周四
  1. The Decoder74

    Google 发布 Gemini 4 Argon,缩小与 OpenAI、Anthropic 的差距但未取得明显领先

    Google 发布新前沿模型 Gemini 4 Argon,在多项基准上缩小了与 OpenAI、Anthropic 的差距,但未取得明显领先。该模型先向 Fairwind 计划的“可信网络防御者”和 Google 内部团队开放,之后才面向开发者、企业和消费者,API 定价为每百万输入 token 2 美元、输出 token 10 美元(推广价)。

9月25日周五
9月23日周三
8月13日周四
  1. Microsoft Research38

    MindTopo:微软推出评估多模态模型拓扑空间推理能力的新基准

    微软研究院发布 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭性、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前专有与开源模型在静态识别上明显强于交互式规划,且均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用,跨序列仍不可靠。

6月25日周四
5月16日周六
  1. Google DeepMind62

    WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加

    Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天预测飓风 Melissa 在牙买加以 Category 5 强度登陆,置信度达 80%,三天前升至接近 100%。

    推荐理由:原文给出 WeatherNext 在飓风路径与强度预测上的实测表现,读者可据此了解 AI 天气模型的实际预报能力。

4月9日周四
4月3日周五
  1. Google Research38

    Google Research 发布评估 LLM 行为倾向对齐的新框架

    Google Research 提出一套基于情境判断测试(SJT)的框架,用于评估 LLM 在真实用户-助手场景中的行为倾向与人类共识的对齐程度。对 25 个 LLM 的大规模分析发现两类差距:模型倾向偏离人类标注者共识,以及在无共识时未能覆盖人类意见的分布范围。在人类标注完全一致的场景中,小型模型(<120B)与前沿闭源模型对齐接近完美,但共识低于 90% 时对齐率停滞在 80% 出头。