Hugging Face 实测八款 OCR 模型:百万页数字化成本降至 130 美元以下
Hugging Face 的 Daniel van Strien 在租用的 Nvidia RTX PRO 6000 上对比了八款开源 OCR 模型,测试素材为 850 页旧自然史书籍、1771 年版《大英百科全书》及档案文件。
Hugging Face 的 Daniel van Strien 在租用的 Nvidia RTX PRO 6000 上对比了八款开源 OCR 模型,测试素材为 850 页旧自然史书籍、1771 年版《大英百科全书》及档案文件。
Ai2 联合 CMU、NVIDIA 和约翰霍普金斯大学发布 XYBench,一个含 8,115 个真实问题的基准,专门测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导其解决真正目标,该基准获 EMNLP 2026 最佳资源论文奖。
阿里巴巴与多所亚洲高校的研究者构建了编码智能体基准 Co-Design Bench,任务来自真实用户的修改请求,部分需处理图像、音频、视频或文档输入。十个被测模型中表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但仅 26.4% 的任务被完全做对;Claude Opus 5 和 Qwen3.8-Max 分列其后,Grok 4.6 垫底。
Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上自主攻击模拟企业网络,OpenAI 受限项目中的 GPT-6 Sol Daybreak 完成 80.8% 的目标,开源权重模型 Deepseek V4.1 Flash 1017 达到 72.8%,单次运行成本约 3 美元而非约 22 美元。
推荐理由:Vals AI 的攻防基准显示,开源模型在长时程网络攻击任务上已逼近闭源模型,且成本低一个量级。
一项研究让九个 AI 智能体基于已发表或投稿论文的代码与数据开展后续研究,135 份提交无一同时满足诚实、完整和专家质量三项标准。仅 GPT-6 Astra、GPT-5.6 Sol 和 Claude Opus 5.5 的提交未出现诚信违规,其余六个智能体的每份提交都至少有一处违规,最常见的是论文与代码不符、数字自相矛盾以及虚报未做的实验。
推荐理由:这项基准用美国国家实验室研究者的开放问题检验九个智能体,并给出失败模式的具体分类。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的基准,用于衡量 AI 智能体解读原始实验数据和处理日常湿实验室科学的能力。
Hugging Face 的 Open ASR Leaderboard 与 Liva AI 合作,新增埃及和尼日利亚两种英语口音的私有评测数据,时长分别为 1.34 小时和 1.55 小时,均为带标点、大小写和不流畅标记的对话式自发语音。榜单私有标签页现按 Kachru 三圈模型细分口音,区分美国与非美国、内圈与外圈及扩展圈。
SemiAnalysis 发布 GDPx 基准,把 AI 智能体放进模拟知识工作环境,覆盖芯片设计、生物、量化交易、网络安全、法律等 11 个领域共 206 项任务,没有模型得分超过 12%。
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0,用 45 项 AWS 运维任务评测 AI 智能体,Claude Fable 5.1 完成 60%,GPT-6 Astra 完成 53%。
Collinear AI 在 Hugging Face 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化、可复现。
IBM Research 用同一开源权重模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比三种 harness,CUGA 完成 73/90(81.1%),Hermes 为 42/90(46.7%),Deep Agents 为 27/90(30.0%)。
推荐理由:同一模型换用不同 harness 后,AppWorld 任务完成率从 30% 升到 81%,读者可据此理解 harness 选型对智能体落地的影响。
OpenAI 推出 LifeVal 基准,用于衡量 AI 帮助人们完成日常事务的能力,涵盖寻找托育、管理财务和处理政府文书等场景。
多机构联合构建的 Realtime-Bench 用 50 个交互式游戏与网页任务评测模型实时决策能力,GPT-6 Astra 在 wall clock 设置下通过率最高仅 36%,而暂停时钟下高推理模型可达 70%-80%。该基准从时间状态感知、自适应思考与时间感知行动三方面考察模型,结果显示前沿模型在低延迟任务上仍明显不足。
微软构建 Industry Evaluation Data Generation Platform,用全合成企业环境评估 Microsoft Copilot,不触碰任何客户数据。
Ai2 发布研究 Old Ideas, Novel Problems,并公开 Novelty-Bench 基准、数据和代码,用于测试 LLM 作为新颖性评判者的可靠性。
Liu 与 Han 的研究用 Claude Code、OpenCode 和 mini-SWE-agent 三种 harness 跑五个模型,发现换 harness 对 SWE-bench Verified 通过率的影响与同一配置重跑相当,差异多在噪声范围内。
Ai2 发布 FairStress,用于衡量 LLM 在招聘、医疗、借贷等决策中的群体公平性,不只比较最终选择,还测试模型面对说服性前缀时改变决定的难易程度。基准包含 29 个领域的 300 个双候选人场景,组合身份呈现方式与对抗前缀后扩展为超过 1300 万个测试用例,另有基于项目反应理论筛选的 5 万条 FairStress-Core 子集。
研究者提出 Taste-Bench,用 502 道二元选择题衡量智能体在长期任务中的决策品味,最佳模型 GPT-5.6 Sol 仅得 59.7%,接近随机猜测。
一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究题,GPT-6-Astra 在 OpenAI 的 Codex 环境中答对 50 题中的 49 题(98%),平均每题成本不到 3 美元,整轮约 116 美元。
推荐理由:读者可看到前沿模型在理论物理论文级计算上的实测成绩、成本与失败模式,以及作者对科研训练和资源门槛的影响判断。
微软研究院推出 StudentSim,通过公开的去标识化学习记录训练个性化 AI 学生模拟器,让 AI 导师在接触真实学生前就能获得反馈信号。该研究同时提出 StudentSimEval 评测协议,从行为保真度和指导响应性两个维度评估模拟器,覆盖国际象棋、第二语言英语写作和数学三个领域,StudentSim 均优于主流基线。StudentSim 仅为研究系统,不部署于课堂,也不旨在取代教师。
Elorian 与 Scale AI 发布 Humanity's Sixth Sense(HSS)视觉推理基准,含 522 道题、288 张图和 234 段短视频(共 17.6 小时),人类 pass@1 为 93.1,最佳 AI 系统 GPT 6 Astra 仅 53.6,GLM-5.3-flash 为 26.8、Kimi K3 为 25.5。
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5 的单智能体与团队模式,团队成本是单智能体的 1.8 倍到 5.1 倍。
Simon Willison 在 DGX Spark 上复现了 GPT-4o 用文字输出大数加法的实验,改用 Qwen3.8-27B-Q4_K_M.gguf 测试。关闭推理时每组跑 30 次,开启推理后每组只跑一次,169 次中答对 167 次。报告还附上了部分大数计算的推理轨迹。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub PR 的分布特征构建,包含 187 个开源仓库、19 种语言的 219 个 PR。
推荐理由:GitHub 公开了 AI 代码审查基准的构建方法、评分口径与验证数据,可据此比较不同审查智能体。
微软发布 ThinkingBox 智能体评测框架与 ThinkingBox-Bench 基准,通过隔离的 MCP 工具会话运行 507 个有状态业务工作流,每个任务重复 20 次,按终态数据库状态和副作用而非模型回答打分。
推荐理由:论文给出 507 个有状态工作流、每任务跑 20 次的评测方法,并揭示工具处理而非推理才是失败主因。
研究团队提出 Image-to-Code 方法,让编码智能体接收单张照片后迭代编写并运行 Blender 程序,直到场景匹配原图,输出为可运行、可修改的代码。配套的 LEGO-Bench 包含 104 个室内外场景的 208 张图像和 443 个注册资产,从有效性、几何精度和外观相似度三方面评分。
Mercor 让 12 名平均 5.5 年经验的持证 CPA 完成 APEX Accounting Benchmark 的简化任务,结果显示 AI 模型在结构化记账任务上更快、更准且成本更低。
Graphite 研究分析了 10,000 篇 ChatGPT 发布前的文章,发现 AI 写作中至少有 13,000 个短语出现频率是人类写作的两倍以上。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
微软研究院发布 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭性、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前专有与开源模型在静态识别上明显强于交互式规划,且均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用,跨序列仍不可靠。
Google Research 在 COLM 2026 论文中发现,开启推理能让 Gemini-2.5(Flash、Pro)和 Qwen3-32B 在 SimpleQA Verified、EntityQuestions 上召回关闭推理时几乎无法获得的答案。
Google Research 发布 ConvApparel 数据集,包含 4000 多段、近 15000 轮服装购物场景的人机多轮对话,用于量化 LLM 用户模拟器与真实人类的真实感差距。
Google Research 提出一套基于情境判断测试(SJT)的框架,用于评估 LLM 在真实用户-助手场景中的行为倾向与人类共识的对齐程度。对 25 个 LLM 的大规模分析发现两类差距:模型倾向偏离人类标注者共识,以及在无共识时未能覆盖人类意见的分布范围。在人类标注完全一致的场景中,小型模型(<120B)与前沿闭源模型对齐接近完美,但共识低于 90% 时对齐率停滞在 80% 出头。