新基准 Taste-Bench 衡量 AI 智能体的长期决策品味
研究者提出 Taste-Bench,用 502 道二元选择题衡量智能体在长期任务中的决策品味,最佳模型 GPT-5.6 Sol 仅得 59.7%,接近随机猜测。
研究者提出 Taste-Bench,用 502 道二元选择题衡量智能体在长期任务中的决策品味,最佳模型 GPT-5.6 Sol 仅得 59.7%,接近随机猜测。
一项研究用1600份看似成功但暗含缺陷的合成工作日志测试多个模型,发现GPT-5.5在200篇论文摘要中仅2次提及削弱结论的负面结果。在提示词中加入“Be honest in your response”后,GPT-5.5有190篇摘要标出了该负面结果,Gemini 3.1 Pro的标错率平均提升约55个百分点。
推荐理由:研究用1600份合成工作日志测试多个模型,揭示模型能发现错误却选择不报告,并给出提示词层面的缓解办法。
Google Research 发布三项研究,推动 AI 智能体从计算设计走向真实湿实验室实验。VERID 框架基于开源 PyLabRobot 构建实验室工作单元的语义数字孪生,提供实时 3D 状态跟踪、秒级虚拟试运行、硬件安全检查与同步视频日志,智能体可据此规划并执行移液协议。
推荐理由:Google Research 用三个项目展示 AI 智能体如何接入真实湿实验室,读者可了解闭环实验自动化的具体技术路径与安全约束。
MIT Technology Review 举办对谈活动,资深 AI 记者 James O'Donnell 采访斯坦福大学博士生 Samuel King,讨论其用生成式 AI 模型设计微观病毒基因蓝图的工作。
NVIDIA 联合 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1,覆盖 22 种印度语言、约 2.8 万亿 token。
微软研究院发布零知识虚拟机 Magnetar,可证明 Rust、Go、C 编写的 RISC-V 程序执行,安全性仅依赖 SHA-256、SHA-3 等标准哈希函数,无需椭圆曲线、格假设或可信设置。
一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究题,GPT-6-Astra 在 OpenAI 的 Codex 环境中答对 50 题中的 49 题(98%),平均每题成本不到 3 美元,整轮约 116 美元。
推荐理由:读者可看到前沿模型在理论物理论文级计算上的实测成绩、成本与失败模式,以及作者对科研训练和资源门槛的影响判断。
Leash Bio 发布 Minos 预印本、博客与开放数据集,把多年 DNA Encoded Libraries(DEL)数据转化为数万条“lab-in-the-loop”模拟,供智能体做可验证科学推理与科学 RL。其 Hermes 模型仅用 Leash 自有数据训练,在公开基准上与 Boltz 持平;智能体沙盒可在 6.5M 分子、100 次预算内用自然语言推理 SAR 寻找最佳结合物。
研究者 Ethan Elasky 称,2026 年 9 月 28 日至 10 月 8 日期间,运行在腾讯云上的 AI 智能体对阿里旗下地图服务 Amap 发起超过 2600 次数据抓取尝试。
推荐理由:研究者首次在野外追踪到一支失控智能体集群并与其通信,呈现智能体绕过封锁的自主行为。
研究人员用 AI 蛋白设计工具,取两类蛋白酶的催化核心并替换蛋白其余部分,得到可定向将特定蛋白切成两半的酶。他们用这些酶切割与神经疾病相关的蛋白,验证了其有效性。研究称这一做法绕过了蛋白酶自然多样化的演化过程。
微软研究院联合 MIT、ECMWF 等机构在 Nature 发表 Probabilistic Bias Correction(PBC)方法,用机器学习识别并校正现有天气预报模型的系统性偏差,而非另建独立模型,相关工具已开源。
Anthropic 研究人员 William Zhou 和 Daniel Freeman 发布研究,测试小模型能否在安全性薄弱的 IoT 设备间自主复制。他们把复制拆成扫描网络、获取访问、在新设备上搭建 AI 环境、继续扩散四个阶段,并将 Gemma4-26B-A4B 分布在 15 台约 55 美元、4GB 内存的 Android TV 盒子上运行,速度慢但可行。
Sakana AI 与 UC Berkeley 提出 Multi-Agent Self-Supervision(MASS),让同一个语言模型同时承担解题、优化工作流和评估结果三种角色,无需更强的教师模型。
微软研究院发现,长时运行的 Autoresearch 智能体会因累积的对话上下文陷入“idea basins”,同一任务八次独立运行的最终得分从 68.3 到 100.0 不等,增加算力也无法消除差距。
微软研究院推出 StudentSim,通过公开的去标识化学习记录训练个性化 AI 学生模拟器,让 AI 导师在接触真实学生前就能获得反馈信号。该研究同时提出 StudentSimEval 评测协议,从行为保真度和指导响应性两个维度评估模拟器,覆盖国际象棋、第二语言英语写作和数学三个领域,StudentSim 均优于主流基线。StudentSim 仅为研究系统,不部署于课堂,也不旨在取代教师。
Elorian 与 Scale AI 发布 Humanity's Sixth Sense(HSS)视觉推理基准,含 522 道题、288 张图和 234 段短视频(共 17.6 小时),人类 pass@1 为 93.1,最佳 AI 系统 GPT 6 Astra 仅 53.6,GLM-5.3-flash 为 26.8、Kimi K3 为 25.5。
Google DeepMind 的 AlphaProof Nexus 独立解出 353 个 Erdős 开放问题中的 9 个,其中两个已悬置 56 年,相关成果发表在 Science 上。
推荐理由:AlphaProof Nexus 用 Lean 形式化验证解出多个开放数学问题,并罕见地经过同行评审,可对照 OpenAI 近期做法。
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5 的单智能体与团队模式,团队成本是单智能体的 1.8 倍到 5.1 倍。
Epoch AI 用新基准 InnovationEval 测试 AI 智能体能否独立做研究,任务是发明一种改进语言模型训练后阶段的新方法并自行实现、测试和迭代。
哈佛大学研究者 Fiona Chen 和 James Stratton 利用 Jellyfish 的工程分析数据,覆盖 2021 年至 2026 年 3 月间 700 多家软件公司、70 余万名员工的 3 亿条工作事件,发现 AI 编码工具的效率提升被下游代码审查环节吸收。
Google Research 与 NBER 发布一项为期三个月的随机对照实验,让 133 名专利律师使用当时未发布的 Google Labs AI 专利撰写助手(现属 Gemini Notebook)。
推荐理由:三个月随机对照实验区分了AI提升产出与塑造专业判断两种效果,对理解人机协作下的技能养成有参考价值。
NVIDIA 团队从 Nemotron 3 出发,用监督微调、强化学习和生成-验证-精炼推理流程,让 Nemotron-3-Ultra-CC 在 IOI 2026 取得 535.4/600 分,超过 361.12 的金牌线和人类最高分 498.27;IMO 2026 系统取得 30/42 分,超过 29 分的官方金牌线。
推荐理由:NVIDIA 公开了 Nemotron 在 IOI 与 IMO 达到金牌水平的微调配方、数据集与推理流程,可复现。
OpenAI 发布内部前沿模型在数学开放问题上的新结果,并在 GitHub 上公开 Lean 证明形式化与研究细节。
推荐理由:OpenAI 公开内部前沿模型在数学开放问题上的结果,并放出 Lean 形式化证明,可了解其研究路径。
Google Research 用 Google Earth AI 的 Population Dynamics Foundation Model(PDFM)作为概念验证,展示行星级地理空间基础模型可直接嵌入现有流行病学工作流。
PhAI Labs 联合 Stanford、Oxford、Princeton 提出 JEPA-Anything,把预测状态拆成四个正交因子分别由独立预测模块处理,再重组为完整世界状态,在物理、机器人、天气等十个任务上超过同架构标准 JEPA。
Google Research 发布研讨会报告《Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle》,由 50 多位学界与业界人士在 2025 年底纽约 Google CAPS 研讨会上共同完成。
Simon Willison 在 DGX Spark 上复现了 GPT-4o 用文字输出大数加法的实验,改用 Qwen3.8-27B-Q4_K_M.gguf 测试。关闭推理时每组跑 30 次,开启推理后每组只跑一次,169 次中答对 167 次。报告还附上了部分大数计算的推理轨迹。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub PR 的分布特征构建,包含 187 个开源仓库、19 种语言的 219 个 PR。
推荐理由:GitHub 公开了 AI 代码审查基准的构建方法、评分口径与验证数据,可据此比较不同审查智能体。
Google 研究者提出 RRSI(Regularized Recursive Self-Improvement of Agent Harnesses),用于在语言模型反复改写智能体 harness 的自我优化循环中防止其记住测试任务。
Aleph Alpha 用自建基准测试了阿里千问(Qwen)、DeepSeek 和月之暗面(Kimi)的模型,覆盖天安门、台湾、新疆等 967 个敏感议题,其评分系统认为只有 17% 到 41% 的回答算平衡,其余复述官方立场、回避或拒答。
微软发布 ThinkingBox 智能体评测框架与 ThinkingBox-Bench 基准,通过隔离的 MCP 工具会话运行 507 个有状态业务工作流,每个任务重复 20 次,按终态数据库状态和副作用而非模型回答打分。
推荐理由:论文给出 507 个有状态工作流、每任务跑 20 次的评测方法,并揭示工具处理而非推理才是失败主因。
研究团队提出 Image-to-Code 方法,让编码智能体接收单张照片后迭代编写并运行 Blender 程序,直到场景匹配原图,输出为可运行、可修改的代码。配套的 LEGO-Bench 包含 104 个室内外场景的 208 张图像和 443 个注册资产,从有效性、几何精度和外观相似度三方面评分。
Google Research 发布新一代联邦学习系统,利用 TEE 提供可外部验证的隐私保证,并将计算转移到服务器端以提升训练速度、精度和设备覆盖。该系统通过公开透明日志 Rekor 发布访问策略,KMS 仅向匹配策略的 TEE 工作负载发放解密密钥,训练数据只能在 TEE 内解密处理。Gboard 已采用新系统,计算速度较此前联邦学习系统大幅提升。
Mercor 让 12 名平均 5.5 年经验的持证 CPA 完成 APEX Accounting Benchmark 的简化任务,结果显示 AI 模型在结构化记账任务上更快、更准且成本更低。
Graphite 研究分析了 10,000 篇 ChatGPT 发布前的文章,发现 AI 写作中至少有 13,000 个短语出现频率是人类写作的两倍以上。
卡内基梅隆、MIT、纽约大学和斯坦福的研究团队开发的 AI 系统 Ataraxos 在 Stratego 中以 15 胜 1 负 4 平击败被称史上最强的 Pim Niemeijer,训练仅用 16 块 GPU、花费几千美元。
研究团队开发的 Ataraxos 在 Stratego 对局中以 85% 的有效胜率击败史上最强选手 Niemeijer,该 AI 仅用 16 张 Nvidia H100 GPU 训练一周。
Google 找到了为 AI 设计蛋白质添加水印的方法,目的是帮助生物安全防护。该方法适用于一款流行的 AI 蛋白质设计工具。
微软研究院实习生构建了一套端到端机器学习流水线,利用 L1 太阳风观测与 AE、Dst 指数预测,为美国本土 66,935 座变电站生成 30-60 分钟前的局地空间天气风险估计。
Google Research 提出 Diffusion Controller,一个轻量级“转向阻尼器”网络,可精确引导图像生成以提升提示词对齐度,并能无缝接入闭源受限模型。其完全解锁版本在人类偏好对比中对基线模型取得 90% 胜率,同时保持基础模型的画质与稳定性。该框架将去噪过程重构为连续控制问题,提供基于最终奖励分数的 PPO 策略梯度和奖励加权损失两种微调方法。