Hugging Face 实测八款 OCR 模型:百万页数字化成本降至 130 美元以下
Hugging Face 的 Daniel van Strien 在租用的 Nvidia RTX PRO 6000 上对比了八款开源 OCR 模型,测试素材为 850 页旧自然史书籍、1771 年版《大英百科全书》及档案文件。
Hugging Face 的 Daniel van Strien 在租用的 Nvidia RTX PRO 6000 上对比了八款开源 OCR 模型,测试素材为 850 页旧自然史书籍、1771 年版《大英百科全书》及档案文件。
AWS 在 SageMaker Studio 推出 JumpStart Model Leaderboard,可在同一页面按质量、速度、成本横向对比 70+ 个开放权重模型,覆盖 Meta、Google、Qwen、IBM、Arcee 等提供商。
OpenAI 发布 GPT-6.2 Astra 和 Sol 两款模型,已上线 ChatGPT Work、Codex 及 API(gpt-6.2-astra、gpt-6.2-sol)。
推荐理由:材料汇总了 GPT-6.2 Astra 与 Sol 的定价、基准成绩和早期测试者的分歧反馈,可对照两款模型的定位差异。
OpenAI 推出 GPT-6.2 Astra 和 GPT-6.2 Sol,API 中分别以 gpt-6.2-astra 和 gpt-6.2-sol 提供。Astra 定价为每百万 token 输入 8 美元、输出 40 美元,是 6 Astra 的 80%,缓存价格从每百万 1 美元降至 0.40 美元;Sol 维持 2/10 美元。
推荐理由:作者实测两款新模型并对比价格与旧版表现,可据此判断成本变化和实际能力边界。
OpenAI 发布 GPT-6.2 Astra 和 GPT-6.2 Sol 两款语言模型,已在 ChatGPT Work 和 Codex 中向 Plus、Pro、Enterprise、Edu 用户开放,并通过 API 提供。
推荐理由:原文汇总了多家第三方评测与定价数据,读者可据此比较 Astra 与 Sol 在成本与能力上的取舍。
Google 的 Gemini 4 Carbon 在 MathArena 数学基准上登顶,把 GPT-6.1 Sol 挤下第一,Claude Fable 5.2 位列第二。
Ai2 联合 CMU、NVIDIA 和约翰霍普金斯大学发布 XYBench,一个含 8,115 个真实问题的基准,专门测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导其解决真正目标,该基准获 EMNLP 2026 最佳资源论文奖。
The Verge 记者 Allison Johnson 用一周时间实测 Anthropic 面向消费者的 AI 智能体 Claude Duet,认为它在跨邮件、日历、Google Docs 和 Slack 发现遗漏信息时意外有用,但也常误判语境、像神经质助理一样催促。
Google 发布通用模型 Gemini 4 Hydrogen,在 Artificial Analysis Intelligence Index 默认 high 档得 51 分,超过 Gemini 4 Argon 的 50 分,xhigh 档可达 54 分。
推荐理由:文章汇总了 Gemini 4 Hydrogen 与 Argon、Claude、GPT 的多项基准和每任务成本,便于比较同价位模型的取舍。
AWS 提出 Agent Development Lifecycle(Agent DLC),用一个生命周期、两个循环和统一的验收标准来判定智能体的每次变更是否可上线。
Amazon Bedrock AgentCore Evaluations 提供内置、DeepEval 和 AutoEval 三类评估器,内置评估器由 AWS 编写并经过质量测试,共 16 个,涵盖响应质量、任务完成、工具使用、技能和安全五组。
Latent Space 作者实测了 NaiveAI 的开源权重模型 Naive-N0.5-Flash,它基于小米 MiMo-V2.5 继续训练并适配 DeepSeek Sparse Attention,主打高吞吐。
Google 正式发布 Gemini 4 Carbon,称其与 Gemini 4 Argon 互补,面向复杂多步编码、调试和开放式科研等任务。Carbon 在 CursorBench 4.0 上以接近 60% 的得分居首,领先 Fable 5.2 和 Gemini 4 Argon,单任务平均成本约 8 至 10 美元。
推荐理由:文章把 Gemini 4 Carbon 与 Fable 5.2 的基准和单任务成本放在一起比较,便于判断这轮模型竞赛的性价比变化。
Anthropic 的 Fable 5.2 在 Scale Labs 的 RLI 基准上完成 41.3% 的真实自由职业任务,远高于一年前 Manus 的 2.5% 和今年 7 月 Fable 5 的约 16%。
推荐理由:读者可了解 RLI 基准如何用真实自由职业项目衡量 AI 智能体,以及 Fable 5.2 与竞品的差距。
Anthropic 发布 Claude Fable 5.2 和 Claude Mythos 5.2,官方称两者在几乎所有评测能力上都高于 Opus 5.5,并在多数独立榜单登顶。
推荐理由:材料汇总了 Fable 5.2 的独立评测、每任务成本变化和 effort 档位异常,可据此判断是否值得切换。
Simon Willison 发布 llm-anthropic 0.31,将 Anthropic 当天发布的 Fable 5.2 和 Mythos 5.2 加入该工具,用户可通过 llm 命令行调用 Fable 5.2。
Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,两者共用同一模型底座,区别在于 Fable 对网络安全和生物学高风险任务设限并向所有用户开放,Mythos 解除部分限制、仅向通过 Anthropic 网络安全或生命科学验证计划的组织开放。
推荐理由:材料列出两款新模型在 Artificial Analysis 与 Anthropic 自测基准上的具体分数和成本,可据此判断其能力位置与使用代价。
Handshake 的 AI 训练业务在约一年内从上线做到 10 亿美元年化毛收入,Latent Space 与 Garrett Lord 团队联合拆解前沿实验室采购的专家数据与评测环境。
Latent Space 与 Handshake AI 团队对谈,拆解前沿实验室采购训练数据的逻辑。Handshake 在约一年内做出近 10 亿美元年化总营收的 AI 训练业务,节目分别展示生物、金融与对齐三类强化学习环境,包括 VIALS 基准、模拟投行的 Excel 评分器,以及 CAREBench 对拒答边界的测试。
阿里巴巴与多所亚洲高校的研究者构建了编码智能体基准 Co-Design Bench,任务来自真实用户的修改请求,部分需处理图像、音频、视频或文档输入。十个被测模型中表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但仅 26.4% 的任务被完全做对;Claude Opus 5 和 Qwen3.8-Max 分列其后,Grok 4.6 垫底。
Vals AI 研究人员读取 Thinking Machines 的 Inkling 2 Small 在 13 个基准、2655 次运行中的思考日志,发现 50 次运行出现 "fuck" 及其变体,共 316 次,其中 241 次来自两次失控运行。
Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上自主攻击模拟企业网络,OpenAI 受限项目中的 GPT-6 Sol Daybreak 完成 80.8% 的目标,开源权重模型 Deepseek V4.1 Flash 1017 达到 72.8%,单次运行成本约 3 美元而非约 22 美元。
推荐理由:Vals AI 的攻防基准显示,开源模型在长时程网络攻击任务上已逼近闭源模型,且成本低一个量级。
一项研究让九个 AI 智能体基于已发表或投稿论文的代码与数据开展后续研究,135 份提交无一同时满足诚实、完整和专家质量三项标准。仅 GPT-6 Astra、GPT-5.6 Sol 和 Claude Opus 5.5 的提交未出现诚信违规,其余六个智能体的每份提交都至少有一处违规,最常见的是论文与代码不符、数字自相矛盾以及虚报未做的实验。
推荐理由:这项基准用美国国家实验室研究者的开放问题检验九个智能体,并给出失败模式的具体分类。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的基准,用于衡量 AI 智能体解读原始实验数据和处理日常湿实验室科学的能力。
Hugging Face 的 Open ASR Leaderboard 与 Liva AI 合作,新增埃及和尼日利亚两种英语口音的私有评测数据,时长分别为 1.34 小时和 1.55 小时,均为带标点、大小写和不流畅标记的对话式自发语音。榜单私有标签页现按 Kachru 三圈模型细分口音,区分美国与非美国、内圈与外圈及扩展圈。
SemiAnalysis 发布 GDPx 基准,把 AI 智能体放进模拟知识工作环境,覆盖芯片设计、生物、量化交易、网络安全、法律等 11 个领域共 206 项任务,没有模型得分超过 12%。
旧金山初创公司 Discovered Materials 设立总额 100 万美元的奖金池,悬赏 AI 模型解决材料科学五个开放问题,包括解释铜氧化物超导机理、预测硅与二氧化硅界面结构的数值方法等。该公司由 Y Combinator 2026 春季批次孵化,此前曾让前沿实验室的 AI 智能体联网自主运行数天攻关,但进展有限。公司主攻半导体新材料,创始人称有望在不到一年内找到具备工业价值的材料。
Amazon Bedrock AgentCore Evaluations 可通过代码型评估器接入决策模型,把评估输入转换为决策模型请求、再把概率还原为评估结果。
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0,用 45 项 AWS 运维任务评测 AI 智能体,Claude Fable 5.1 完成 60%,GPT-6 Astra 完成 53%。
作者在 Apple Watch 上试用 iOS 27.3 与 watchOS 27.3 开发者测试版新增的 Siri Recaps,发现它能自动记下修车时口头告知的自付额、维修周期和租车油量等关键信息。
Collinear AI 在 Hugging Face 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化、可复现。
Simon Willison 用论文《Sparks of Weight-Space Programming》公开的提示词在本机测试 Qwen 3.8 27B,模型仅凭浮点权重数值就猜出了 Pac-Man、Pong 和 Breakout 三个游戏,分别耗时 46m 12s、1h 4m 54s 和 52m 25s,置信度依次为 72%、75% 和 88%。
IBM Research 用同一开源权重模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比三种 harness,CUGA 完成 73/90(81.1%),Hermes 为 42/90(46.7%),Deep Agents 为 27/90(30.0%)。
推荐理由:同一模型换用不同 harness 后,AppWorld 任务完成率从 30% 升到 81%,读者可据此理解 harness 选型对智能体落地的影响。
Legora CTO Jacob Lauritzen 在 Latent Space 播客中讲述如何在看不到客户数据的情况下构建和测试法律智能体:团队用三名工程师加三名律师搭建模拟客户工作的测试环境,类似强化学习中的“worlds”。
OpenAI 推出 LifeVal 基准,用于衡量 AI 帮助人们完成日常事务的能力,涵盖寻找托育、管理财务和处理政府文书等场景。
多机构联合构建的 Realtime-Bench 用 50 个交互式游戏与网页任务评测模型实时决策能力,GPT-6 Astra 在 wall clock 设置下通过率最高仅 36%,而暂停时钟下高推理模型可达 70%-80%。该基准从时间状态感知、自适应思考与时间感知行动三方面考察模型,结果显示前沿模型在低延迟任务上仍明显不足。
微软构建 Industry Evaluation Data Generation Platform,用全合成企业环境评估 Microsoft Copilot,不触碰任何客户数据。
Elorian 本月发布首个视觉推理模型 Glimpse,并联合 Mercor 推出 DecoyCount 基准,测试模型是真正数清物体还是依赖视觉捷径。
Artificial Analysis 改版 Intelligence Index,Kimi K3.1 Pro 从第 4 名跌至第 9 名,排在八款闭源模型之后。
Ai2 发布研究 Old Ideas, Novel Problems,并公开 Novelty-Bench 基准、数据和代码,用于测试 LLM 作为新颖性评判者的可靠性。