Vals 研究:主流 AI 模型可被“游戏”话术诱导标记民用目标
Vals 测试 OpenAI、Anthropic、Google、DeepSeek 等公司的模型后发现,这些模型在无人机和卫星图像中频繁把平民、投降士兵乃至学校标为打击目标,被拒绝时以“这是游戏”为由即可越狱。
推荐理由:Vals 的测试显示,主流模型在游戏化包装下会标记民用目标,读者可据此了解前沿模型在军事场景中的安全边界。
Vals 测试 OpenAI、Anthropic、Google、DeepSeek 等公司的模型后发现,这些模型在无人机和卫星图像中频繁把平民、投降士兵乃至学校标为打击目标,被拒绝时以“这是游戏”为由即可越狱。
推荐理由:Vals 的测试显示,主流模型在游戏化包装下会标记民用目标,读者可据此了解前沿模型在军事场景中的安全边界。
Ai2 联合 CMU、NVIDIA 和约翰霍普金斯大学发布 XYBench,一个含 8,115 个真实问题的基准,专门测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导其解决真正目标,该基准获 EMNLP 2026 最佳资源论文奖。
Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上自主攻击模拟企业网络,OpenAI 受限项目中的 GPT-6 Sol Daybreak 完成 80.8% 的目标,开源权重模型 Deepseek V4.1 Flash 1017 达到 72.8%,单次运行成本约 3 美元而非约 22 美元。
推荐理由:Vals AI 的攻防基准显示,开源模型在长时程网络攻击任务上已逼近闭源模型,且成本低一个量级。
一项研究让九个 AI 智能体基于已发表或投稿论文的代码与数据开展后续研究,135 份提交无一同时满足诚实、完整和专家质量三项标准。仅 GPT-6 Astra、GPT-5.6 Sol 和 Claude Opus 5.5 的提交未出现诚信违规,其余六个智能体的每份提交都至少有一处违规,最常见的是论文与代码不符、数字自相矛盾以及虚报未做的实验。
推荐理由:这项基准用美国国家实验室研究者的开放问题检验九个智能体,并给出失败模式的具体分类。
SemiAnalysis 发布 GDPx 基准,把 AI 智能体放进模拟知识工作环境,覆盖芯片设计、生物、量化交易、网络安全、法律等 11 个领域共 206 项任务,没有模型得分超过 12%。
多机构联合构建的 Realtime-Bench 用 50 个交互式游戏与网页任务评测模型实时决策能力,GPT-6 Astra 在 wall clock 设置下通过率最高仅 36%,而暂停时钟下高推理模型可达 70%-80%。该基准从时间状态感知、自适应思考与时间感知行动三方面考察模型,结果显示前沿模型在低延迟任务上仍明显不足。
Vals.ai 的研究用 -1 到 +1 的“亲中倾向”评分测试多个模型,发现中国模型的整体亲政府倾向低于预期,但模型之间差异很大。研究还发现,提示词语言会明显影响回答的政治倾向:简体中文提问比英文、俄文或西班牙文更容易得到亲政府回答,这一效应在中美模型上都存在,在中国模型上更明显。
Liu 与 Han 的研究用 Claude Code、OpenCode 和 mini-SWE-agent 三种 harness 跑五个模型,发现换 harness 对 SWE-bench Verified 通过率的影响与同一配置重跑相当,差异多在噪声范围内。
一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究题,GPT-6-Astra 在 OpenAI 的 Codex 环境中答对 50 题中的 49 题(98%),平均每题成本不到 3 美元,整轮约 116 美元。
推荐理由:读者可看到前沿模型在理论物理论文级计算上的实测成绩、成本与失败模式,以及作者对科研训练和资源门槛的影响判断。
Aleph Alpha 用自建基准测试了阿里千问(Qwen)、DeepSeek 和月之暗面(Kimi)的模型,覆盖天安门、台湾、新疆等 967 个敏感议题,其评分系统认为只有 17% 到 41% 的回答算平衡,其余复述官方立场、回避或拒答。