Property Finder 如何修正评估偏差,在 Amazon Bedrock 上选出更优模型
Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在对比中天然处于劣势。团队重新人工标注 356 张 UAE 图像,将单标签改为多标签分类,并通过 v0 到 v27 的提示词优化循环在 Amazon Bedrock 上选型,最终实现准确率提升且成本降低 86%。
Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在对比中天然处于劣势。团队重新人工标注 356 张 UAE 图像,将单标签改为多标签分类,并通过 v0 到 v27 的提示词优化循环在 Amazon Bedrock 上选型,最终实现准确率提升且成本降低 86%。
Liu 与 Han 的研究用 Claude Code、OpenCode 和 mini-SWE-agent 三种 harness 跑五个模型,发现换 harness 对 SWE-bench Verified 通过率的影响与同一配置重跑相当,差异多在噪声范围内。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估器并非易事,评估结果的可复现性仍是核心难题,需要开放权重才能获得必要的模型访问权限。
Ai2 发布 FairStress,用于衡量 LLM 在招聘、医疗、借贷等决策中的群体公平性,不只比较最终选择,还测试模型面对说服性前缀时改变决定的难易程度。基准包含 29 个领域的 300 个双候选人场景,组合身份呈现方式与对抗前缀后扩展为超过 1300 万个测试用例,另有基于项目反应理论筛选的 5 万条 FairStress-Core 子集。
OpenAI 表示已针对 COBOL、Fortran、Visual Basic 等低资源语言改进最新模型,并构建了 MultiLangBench 和 COBOL 迁移两项评测。
推荐理由:原文给出 GPT-6 在 COBOL、Fortran 等低资源语言上的基准提升幅度,可据此判断遗留系统迁移的可用性变化。
OpenAI 正在改进 ChatGPT 在低资源编程语言上的表现,并新增了针对软件工程、SQLite 和 COBOL 迁移的评测。
MiniMax 发布推理模型 M3.1 Flash,在 Artificial Analysis 智能指数上得分 42,比前代 M3 高 13 分,单任务成本不到其一半。
推荐理由:通过多项基准与单任务成本对比,呈现 MiniMax 与 Deepseek 在低价推理模型上的互有胜负。
研究者提出 Taste-Bench,用 502 道二元选择题衡量智能体在长期任务中的决策品味,最佳模型 GPT-5.6 Sol 仅得 59.7%,接近随机猜测。
AWS 销售、营销与全球服务(SMGS)运营团队基于 Amazon Bedrock AgentCore 搭建了面向全球 AWS 现场销售的多智能体系统,并用 AgentCore Evaluations 构建全生命周期评估框架。
The Verge 三位作者用一周时间实测五台搭载 Nvidia RTX Spark N1X 的 Windows on Arm 笔记本,覆盖华硕 ProArt P16、惠普 OmniBook Ultra、联想 Yoga 9n 和微软 Surface Laptop Ultra,售价从 3199.99 美元到 6999.99 美元。
Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上以 Provider Adapter Harness 测试环境取得 97.5%,成本 4800 美元,成为继 OpenAI 之后第二家跨过 95% 的实验室,仅次于 GPT-6 Astra 的 99.9%。
推荐理由:梳理 Gemini 4 Argon 在 ARC-AGI-3 等基准上的成绩,并说明测试环境差异如何影响分数可比性。
一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究题,GPT-6-Astra 在 OpenAI 的 Codex 环境中答对 50 题中的 49 题(98%),平均每题成本不到 3 美元,整轮约 116 美元。
推荐理由:读者可看到前沿模型在理论物理论文级计算上的实测成绩、成本与失败模式,以及作者对科研训练和资源门槛的影响判断。
微软研究院推出 StudentSim,通过公开的去标识化学习记录训练个性化 AI 学生模拟器,让 AI 导师在接触真实学生前就能获得反馈信号。该研究同时提出 StudentSimEval 评测协议,从行为保真度和指导响应性两个维度评估模拟器,覆盖国际象棋、第二语言英语写作和数学三个领域,StudentSim 均优于主流基线。StudentSim 仅为研究系统,不部署于课堂,也不旨在取代教师。
Elorian 与 Scale AI 发布 Humanity's Sixth Sense(HSS)视觉推理基准,含 522 道题、288 张图和 234 段短视频(共 17.6 小时),人类 pass@1 为 93.1,最佳 AI 系统 GPT 6 Astra 仅 53.6,GLM-5.3-flash 为 26.8、Kimi K3 为 25.5。
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5 的单智能体与团队模式,团队成本是单智能体的 1.8 倍到 5.1 倍。
The Verge 记者 Allison Johnson 实测了 Instinct 这款通过 iMessage、WhatsApp 或邮件交互的 AI 智能体,认为它在处理预约、邮件、退货等日常事务上与 OpenAI 的 Dots 和 Meta 的 Muse 表现相当。
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享与当前 AI 系统协作的实用建议,并强调当结果偏离预期时应仔细审视数据。
Simon Willison 用“穿渔网袜的犰狳在火星乱穿马路”这一提示词,分别让 claude-opus-5.5、gpt-6.1-sol、gemini-3.8-flash 和 mistral/mistral-large-4 生成 SVG,以回应 Hacker News 上关于基准测试已饱和的评论。各模型均使用默认推理等级。
Simon Willison 在 DGX Spark 上复现了 GPT-4o 用文字输出大数加法的实验,改用 Qwen3.8-27B-Q4_K_M.gguf 测试。关闭推理时每组跑 30 次,开启推理后每组只跑一次,169 次中答对 167 次。报告还附上了部分大数计算的推理轨迹。
Amazon Bedrock AgentCore Evaluations 支持内置与自定义评估器,可衡量多智能体系统的有用性、任务成功率和指令遵循等质量维度,并支持按需与在线两种模式。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub PR 的分布特征构建,包含 187 个开源仓库、19 种语言的 219 个 PR。
推荐理由:GitHub 公开了 AI 代码审查基准的构建方法、评分口径与验证数据,可据此比较不同审查智能体。
Toby Ord 分析指出,AI 群体(swarm)本质是一种新的推理扩展方式,4 智能体群体达到同等性能需约两倍 token,但每智能体 token 减半,理论上可将任务时间缩短一半。Google DeepMind 推出 SynthID Bio,为合成生物学数据加水印以强化生物安全。CSAIP 民调显示 61% 美国人认为 AI 公司自愿自律"不够",54% 认为政府应制定并执行 AI 规则。
微软发布 ThinkingBox 智能体评测框架与 ThinkingBox-Bench 基准,通过隔离的 MCP 工具会话运行 507 个有状态业务工作流,每个任务重复 20 次,按终态数据库状态和副作用而非模型回答打分。
推荐理由:论文给出 507 个有状态工作流、每任务跑 20 次的评测方法,并揭示工具处理而非推理才是失败主因。
研究团队提出 Image-to-Code 方法,让编码智能体接收单张照片后迭代编写并运行 Blender 程序,直到场景匹配原图,输出为可运行、可修改的代码。配套的 LEGO-Bench 包含 104 个室内外场景的 208 张图像和 443 个注册资产,从有效性、几何精度和外观相似度三方面评分。
OpenAI 发布 GPT-6.1 Sol,定价 $2/$10 per million input/output tokens,在 DeepSWE v1.1 上比 GPT-6 Sol 高 6.4 分,Agent Arena 中位任务成本 $0.56,比 GPT-6 Sol 便宜 39%。
The Verge 记者 Allison Johnson 实测 OpenAI 本周发布的智能体平台 Dots,它拥有拟人化头像和可自定义名称,目前每个用户只能创建一个,且优先向最高档账户开放,包括每月 100 美元的 Pro 账户。
Circuit Breaker Labs 打造了一支"碰撞测试假人"式的 AI 智能体队伍,模拟不同年龄、背景、语言和文化的用户,对模型进行红队测试,每天运行数万至数十万次模拟对话,以发现模型在识别危险、心理有害互动上的漏洞。
Mercor 让 12 名平均 5.5 年经验的持证 CPA 完成 APEX Accounting Benchmark 的简化任务,结果显示 AI 模型在结构化记账任务上更快、更准且成本更低。
Graphite 研究分析了 10,000 篇 ChatGPT 发布前的文章,发现 AI 写作中至少有 13,000 个短语出现频率是人类写作的两倍以上。
Google 发布新前沿模型 Gemini 4 Argon,在多项基准上缩小了与 OpenAI、Anthropic 的差距,但未取得明显领先。该模型先向 Fairwind 计划的“可信网络防御者”和 Google 内部团队开放,之后才面向开发者、企业和消费者,API 定价为每百万输入 token 2 美元、输出 token 10 美元(推广价)。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
Latent Space 宣布将在下周推出 AINews v3,把已运营 3 年、订阅超 20 万的 AINews 与 Latent Space Discord 合并,并探索迁移至 Beehiiv 和新主页。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
微软研究院发布 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭性、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前专有与开源模型在静态识别上明显强于交互式规划,且均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用,跨序列仍不可靠。
Google Research 在 COLM 2026 论文中发现,开启推理能让 Gemini-2.5(Flash、Pro)和 Qwen3-32B 在 SimpleQA Verified、EntityQuestions 上召回关闭推理时几乎无法获得的答案。
Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天预测飓风 Melissa 在牙买加以 Category 5 强度登陆,置信度达 80%,三天前升至接近 100%。
推荐理由:原文给出 WeatherNext 在飓风路径与强度预测上的实测表现,读者可据此了解 AI 天气模型的实际预报能力。
Google Research 发布 ConvApparel 数据集,包含 4000 多段、近 15000 轮服装购物场景的人机多轮对话,用于量化 LLM 用户模拟器与真实人类的真实感差距。
Google Research 提出一套基于情境判断测试(SJT)的框架,用于评估 LLM 在真实用户-助手场景中的行为倾向与人类共识的对齐程度。对 25 个 LLM 的大规模分析发现两类差距:模型倾向偏离人类标注者共识,以及在无共识时未能覆盖人类意见的分布范围。在人类标注完全一致的场景中,小型模型(<120B)与前沿闭源模型对齐接近完美,但共识低于 90% 时对齐率停滞在 80% 出头。