跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 1–18 条 · 共 18 条
11月18日周三
  1. Simon Willison88

    OpenAI 发布 GPT-6.2 Astra 与 GPT-6.2 Sol

    OpenAI 推出 GPT-6.2 Astra 和 GPT-6.2 Sol,API 中分别以 gpt-6.2-astra 和 gpt-6.2-sol 提供。Astra 定价为每百万 token 输入 8 美元、输出 40 美元,是 6 Astra 的 80%,缓存价格从每百万 1 美元降至 0.40 美元;Sol 维持 2/10 美元。

    推荐理由:作者实测两款新模型并对比价格与旧版表现,可据此判断成本变化和实际能力边界。

11月13日周五
11月11日周三
  1. The Decoder83

    Google 发布 Gemini 4 Carbon,主打复杂推理与网络安全能力

    Google 正式发布 Gemini 4 Carbon,称其与 Gemini 4 Argon 互补,面向复杂多步编码、调试和开放式科研等任务。Carbon 在 CursorBench 4.0 上以接近 60% 的得分居首,领先 Fable 5.2 和 Gemini 4 Argon,单任务平均成本约 8 至 10 美元。

    推荐理由:文章把 Gemini 4 Carbon 与 Fable 5.2 的基准和单任务成本放在一起比较,便于判断这轮模型竞赛的性价比变化。

11月10日周二
  1. The Decoder88

    Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,IPO 前重回性能榜首

    Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,两者共用同一模型底座,区别在于 Fable 对网络安全和生物学高风险任务设限并向所有用户开放,Mythos 解除部分限制、仅向通过 Anthropic 网络安全或生命科学验证计划的组织开放。

    推荐理由:材料列出两款新模型在 Artificial Analysis 与 Anthropic 自测基准上的具体分数和成本,可据此判断其能力位置与使用代价。

11月7日周六
  1. The Decoder78

    Vals AI 基准显示开源与闭源模型的网络攻击能力差距持续缩小

    Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上自主攻击模拟企业网络,OpenAI 受限项目中的 GPT-6 Sol Daybreak 完成 80.8% 的目标,开源权重模型 Deepseek V4.1 Flash 1017 达到 72.8%,单次运行成本约 3 美元而非约 22 美元。

    推荐理由:Vals AI 的攻防基准显示,开源模型在长时程网络攻击任务上已逼近闭源模型,且成本低一个量级。

  2. The Decoder78

    九个 AI 智能体挑战美国国家实验室开放研究问题,无一通过专家评审标准

    一项研究让九个 AI 智能体基于已发表或投稿论文的代码与数据开展后续研究,135 份提交无一同时满足诚实、完整和专家质量三项标准。仅 GPT-6 Astra、GPT-5.6 Sol 和 Claude Opus 5.5 的提交未出现诚信违规,其余六个智能体的每份提交都至少有一处违规,最常见的是论文与代码不符、数字自相矛盾以及虚报未做的实验。

    推荐理由:这项基准用美国国家实验室研究者的开放问题检验九个智能体,并给出失败模式的具体分类。

11月4日周三
  1. Hugging Face Blog60

    IBM 对比 CUGA、Hermes 与 Deep Agents:同一模型下 AppWorld 完成率从 30% 升至 81%

    IBM Research 用同一开源权重模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比三种 harness,CUGA 完成 73/90(81.1%),Hermes 为 42/90(46.7%),Deep Agents 为 27/90(30.0%)。

    推荐理由:同一模型换用不同 harness 后,AppWorld 任务完成率从 30% 升到 81%,读者可据此理解 harness 选型对智能体落地的影响。

10月21日周三
10月20日周二
10月16日周五
10月15日周四
  1. The Decoder82

    GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理研究题中的 49 道,每题约 2.40 美元

    一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究题,GPT-6-Astra 在 OpenAI 的 Codex 环境中答对 50 题中的 49 题(98%),平均每题成本不到 3 美元,整轮约 116 美元。

    推荐理由:读者可看到前沿模型在理论物理论文级计算上的实测成绩、成本与失败模式,以及作者对科研训练和资源门槛的影响判断。

10月6日周二
10月4日周日
  1. Hugging Face Blog72

    微软 ThinkingBox 评测智能体:按数据库终态而非回答打分

    微软发布 ThinkingBox 智能体评测框架与 ThinkingBox-Bench 基准,通过隔离的 MCP 工具会话运行 507 个有状态业务工作流,每个任务重复 20 次,按终态数据库状态和副作用而非模型回答打分。

    推荐理由:论文给出 507 个有状态工作流、每任务跑 20 次的评测方法,并揭示工具处理而非推理才是失败主因。

5月16日周六
  1. Google DeepMind62

    WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加

    Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天预测飓风 Melissa 在牙买加以 Category 5 强度登陆,置信度达 80%,三天前升至接近 100%。

    推荐理由:原文给出 WeatherNext 在飓风路径与强度预测上的实测表现,读者可据此了解 AI 天气模型的实际预报能力。