跳到正文

#评测/基准

今日 0 条
11月19日周四
11月18日周三
  1. Simon Willison88

    OpenAI 发布 GPT-6.2 Astra 与 GPT-6.2 Sol

    OpenAI 推出 GPT-6.2 Astra 和 GPT-6.2 Sol,API 中分别以 gpt-6.2-astra 和 gpt-6.2-sol 提供。Astra 定价为每百万 token 输入 8 美元、输出 40 美元,是 6 Astra 的 80%,缓存价格从每百万 1 美元降至 0.40 美元;Sol 维持 2/10 美元。

    推荐理由:作者实测两款新模型并对比价格与旧版表现,可据此判断成本变化和实际能力边界。

11月15日周日
11月14日周六
11月13日周五
11月11日周三
  1. The Decoder83

    Google 发布 Gemini 4 Carbon,主打复杂推理与网络安全能力

    Google 正式发布 Gemini 4 Carbon,称其与 Gemini 4 Argon 互补,面向复杂多步编码、调试和开放式科研等任务。Carbon 在 CursorBench 4.0 上以接近 60% 的得分居首,领先 Fable 5.2 和 Gemini 4 Argon,单任务平均成本约 8 至 10 美元。

    推荐理由:文章把 Gemini 4 Carbon 与 Fable 5.2 的基准和单任务成本放在一起比较,便于判断这轮模型竞赛的性价比变化。

11月10日周二
  1. The Decoder88

    Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,IPO 前重回性能榜首

    Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,两者共用同一模型底座,区别在于 Fable 对网络安全和生物学高风险任务设限并向所有用户开放,Mythos 解除部分限制、仅向通过 Anthropic 网络安全或生命科学验证计划的组织开放。

    推荐理由:材料列出两款新模型在 Artificial Analysis 与 Anthropic 自测基准上的具体分数和成本,可据此判断其能力位置与使用代价。

11月8日周日
  1. The Decoder70

    阿里等团队发布 Co-Design Bench:编码智能体仅完整完成 26.4% 任务

    阿里巴巴与多所亚洲高校的研究者构建了编码智能体基准 Co-Design Bench,任务来自真实用户的修改请求,部分需处理图像、音频、视频或文档输入。十个被测模型中表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但仅 26.4% 的任务被完全做对;Claude Opus 5 和 Qwen3.8-Max 分列其后,Grok 4.6 垫底。

11月7日周六
  1. The Decoder78

    Vals AI 基准显示开源与闭源模型的网络攻击能力差距持续缩小

    Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上自主攻击模拟企业网络,OpenAI 受限项目中的 GPT-6 Sol Daybreak 完成 80.8% 的目标,开源权重模型 Deepseek V4.1 Flash 1017 达到 72.8%,单次运行成本约 3 美元而非约 22 美元。

    推荐理由:Vals AI 的攻防基准显示,开源模型在长时程网络攻击任务上已逼近闭源模型,且成本低一个量级。

  2. The Decoder78

    九个 AI 智能体挑战美国国家实验室开放研究问题,无一通过专家评审标准

    一项研究让九个 AI 智能体基于已发表或投稿论文的代码与数据开展后续研究,135 份提交无一同时满足诚实、完整和专家质量三项标准。仅 GPT-6 Astra、GPT-5.6 Sol 和 Claude Opus 5.5 的提交未出现诚信违规,其余六个智能体的每份提交都至少有一处违规,最常见的是论文与代码不符、数字自相矛盾以及虚报未做的实验。

    推荐理由:这项基准用美国国家实验室研究者的开放问题检验九个智能体,并给出失败模式的具体分类。

11月6日周五
  1. Hugging Face Blog23

    Open ASR Leaderboard 新增埃及与尼日利亚英语口音私有数据

    Hugging Face 的 Open ASR Leaderboard 与 Liva AI 合作,新增埃及和尼日利亚两种英语口音的私有评测数据,时长分别为 1.34 小时和 1.55 小时,均为带标点、大小写和不流畅标记的对话式自发语音。榜单私有标签页现按 Kachru 三圈模型细分口音,区分美国与非美国、内圈与外圈及扩展圈。

11月5日周四
  1. TechCrunch · AI42

    YC 初创公司 Discovered Materials 悬赏 100 万美元,征集 AI 攻克 5 个材料科学未解难题

    旧金山初创公司 Discovered Materials 设立总额 100 万美元的奖金池,悬赏 AI 模型解决材料科学五个开放问题,包括解释铜氧化物超导机理、预测硅与二氧化硅界面结构的数值方法等。该公司由 Y Combinator 2026 春季批次孵化,此前曾让前沿实验室的 AI 智能体联网自主运行数天攻关,但进展有限。公司主攻半导体新材料,创始人称有望在不到一年内找到具备工业价值的材料。

11月4日周三
  1. Hugging Face Blog60

    IBM 对比 CUGA、Hermes 与 Deep Agents:同一模型下 AppWorld 完成率从 30% 升至 81%

    IBM Research 用同一开源权重模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比三种 harness,CUGA 完成 73/90(81.1%),Hermes 为 42/90(46.7%),Deep Agents 为 27/90(30.0%)。

    推荐理由:同一模型换用不同 harness 后,AppWorld 任务完成率从 30% 升到 81%,读者可据此理解 harness 选型对智能体落地的影响。

11月3日周二
  1. Import AI38

    Import AI 479:Realtime-Bench 评测低延迟任务、太空战报告与 Genie 4

    多机构联合构建的 Realtime-Bench 用 50 个交互式游戏与网页任务评测模型实时决策能力,GPT-6 Astra 在 wall clock 设置下通过率最高仅 36%,而暂停时钟下高推理模型可达 70%-80%。该基准从时间状态感知、自适应思考与时间感知行动三方面考察模型,结果显示前沿模型在低延迟任务上仍明显不足。

10月30日周五
10月29日周四
10月28日周三