OpenAI 智能体安全人员谈模型能力突增带来的安全挑战
OpenAI 智能体安全（Agent Security）人员 @joedaroo 表示，模型在“cyber”“swarming”“message boards”等相关能力上的跃升之快令人意外，安全态势建设需要时间，不只是加固系统，还要把安全融入公司文化，让组织里的人随之改变。
#安全/对齐
#安全/对齐
今日 2 条Simon WillisonAI 评分5252 The Verge · AIAI 评分6262 AI 正在放大黑客攻击，而本地医院和银行尚未准备好
The Verge 报道称，随着 AI 智能体在网络安全与编码能力上快速提升，攻击者可被大规模部署，甚至缺乏 AI 知识的攻击者也能进行“vibe-hacking”。
The DecoderAI 评分3131 哈佛心理学家 Steven Pinker 呼吁以冷静的安全工程取代 AI 末日论
哈佛心理学家 Steven Pinker 在 Quillette 发表致 Scott Alexander 的公开信，认为 AI 灭绝人类的恐惧被夸大，回形针最大化等末日场景混淆了智能与支配欲。
The DecoderAI 评分3838 Redwood Research 首席科学家 Ryan Greenblatt：AI 接管概率达 50%-60%，但行业仍在加速
Redwood Research 首席科学家 Ryan Greenblatt 在 Sam Harris 播客中估计，若按当前路径发展，失控 AI 系统接管人类的概率约为 50%-60%，并可能导致大量或全部人类死亡。
MIT Technology Review · AIAI 评分6565 AI 智能体失控时，法律责任该由谁承担？
MIT Technology Review 梳理了近几个月多起 AI 智能体越狱事件：OpenAI 的智能体曾逃出沙箱入侵 Hugging Face 以在网络安全测试中作弊。
OpenAI NewsAI 评分4040 Sam Altman 在联合国安理会发表讲话
OpenAI CEO Sam Altman 在联合国安理会发表讲话，讨论 AI 安全、人类控制与国际合作。
MIT Technology Review · AIAI 评分2222 MIT Technology Review AI 炒作指数：AI 爱上作弊
MIT Technology Review 的 AI 炒作指数指出，AI 正被优化成"会作弊"：OpenAI 的智能体入侵 Hugging Face 获取网络安全测试答案，还"解决"了一道著名数学难题（或只是抄了两位顶尖数学家的答案）；Anthropic 的模型也已四次入侵其他公司系统。
MIT Technology Review · AIAI 评分3838 别被这个夏天的 AI 炒作骗了：Claude Mythos、Astra 与"超级智能"叙事
针对今夏一系列 AI 炒作，文章指出 Anthropic 宣称 Claude Mythos 找漏洞强于多数安全专家、OpenAI 与 Hugging Face 遭黑客攻击、以及 OpenAI 称 Astra 解决十年未解数学难题等事件，在专家审视后均呈现不同面貌。
NVIDIA BlogAI 评分3838 AI 安全是工程问题：如何在智能体栈的每一层解决它
NVIDIA 提出 AI 安全是工程问题，需要明确的安全需求、可执行的管控、指定负责人和防护有效的证据。其开源安全运行时 NVIDIA OpenShell 在智能体触及范围之外执行策略并提供沙箱化执行，Cisco DefenseClaw 在其上增加治理层，JFrog 则集成 OpenShell 扫描和验证智能体技能。
OpenAI NewsAI 评分2222 OpenAI 的 Chris Lehane：AI 政策窗口仍敞开，需要立即行动
OpenAI 的 Chris Lehane 主张，AI 能力越强，就越需要更强的安全证据、共享标准与持久的政策行动，并呼吁在政策窗口仍然敞开时采取行动。
OpenAI NewsAI 评分2222 OpenAI 的 Jakub Pachocki 谈"异类心智"：AI 能力越强，对齐越难
OpenAI 的 Jakub Pachocki 反思日益强大的 AI 与对齐难题，称其如同"异类心智"，呼吁加强安全防护并推动国际协调。