OpenAI 研究:编码智能体加速 AI 研究,但能力边界参差不齐
OpenAI 测量了编码智能体加速 AI 研究的实际效果,发现其表现并不均衡。该研究同时探讨了这一"参差不齐的前沿"对递归自我改进意味着什么。
OpenAI 测量了编码智能体加速 AI 研究的实际效果,发现其表现并不均衡。该研究同时探讨了这一"参差不齐的前沿"对递归自我改进意味着什么。
微软研究院联合 UC Berkeley 和 Microsoft Security 提出开源插件 TokenEconomizer,它从编码智能体在仓库中的历史会话学习,在不修改智能体和底层模型的情况下减少重复探索、无用工具加载和失败循环。
推荐理由:微软研究院等机构提出的插件在不改动智能体和模型的前提下,用仓库历史降低编码智能体的 token 成本,并给出多组合实测数据。
Microsoft Research Focus 第98期由 Anson Ho 主持,介绍 AI 通用翻译进展、31 年 KLS 猜想被解决,以及让 AI 编码智能体更高效的新方法。
阿里巴巴与多所亚洲高校的研究者构建了编码智能体基准 Co-Design Bench,任务来自真实用户的修改请求,部分需处理图像、音频、视频或文档输入。十个被测模型中表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但仅 26.4% 的任务被完全做对;Claude Opus 5 和 Qwen3.8-Max 分列其后,Grok 4.6 垫底。
Collinear AI 在 Hugging Face 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化、可复现。
Microsoft Research Focus 第97期介绍多项新研究:自改进智能体框架 ForkPilot 在六个基准和主流模型上达到现有最佳方法水平,同时将 AI 处理开销最多降低 59%。
Liu 与 Han 的研究用 Claude Code、OpenCode 和 mini-SWE-agent 三种 harness 跑五个模型,发现换 harness 对 SWE-bench Verified 通过率的影响与同一配置重跑相当,差异多在噪声范围内。
研究者提出 Taste-Bench,用 502 道二元选择题衡量智能体在长期任务中的决策品味,最佳模型 GPT-5.6 Sol 仅得 59.7%,接近随机猜测。
哈佛大学研究者 Fiona Chen 和 James Stratton 利用 Jellyfish 的工程分析数据,覆盖 2021 年至 2026 年 3 月间 700 多家软件公司、70 余万名员工的 3 亿条工作事件,发现 AI 编码工具的效率提升被下游代码审查环节吸收。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub PR 的分布特征构建,包含 187 个开源仓库、19 种语言的 219 个 PR。
推荐理由:GitHub 公开了 AI 代码审查基准的构建方法、评分口径与验证数据,可据此比较不同审查智能体。
研究团队提出 Image-to-Code 方法,让编码智能体接收单张照片后迭代编写并运行 Blender 程序,直到场景匹配原图,输出为可运行、可修改的代码。配套的 LEGO-Bench 包含 104 个室内外场景的 208 张图像和 443 个注册资产,从有效性、几何精度和外观相似度三方面评分。
伯克利 AI 研究提出首个关于 word2vec 学习过程的定量预测理论,证明在实际训练条件下该问题可化简为无权重最小二乘矩阵分解,梯度流动态有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。