Satya Nadella 警告:大量关键基础设施软件「无法打补丁」,AI 网络攻击加剧风险
微软 CEO Satya Nadella 在 DealBook Summit 上表示,美国大量关键基础设施中的固件、冷水机组和 HVAC 系统存在无法修复的漏洞,且都联网在线。他指出 AI 让漏洞发现和攻击都更快,补丁必须从可用到上线瞬间完成,这反而会带来系统不稳定。他还提到近期 Outlook 全球故障源于一个「潜在 bug」引发的「完美风暴」,微软将吸取架构和运维层面的教训。
微软 CEO Satya Nadella 在 DealBook Summit 上表示,美国大量关键基础设施中的固件、冷水机组和 HVAC 系统存在无法修复的漏洞,且都联网在线。他指出 AI 让漏洞发现和攻击都更快,补丁必须从可用到上线瞬间完成,这反而会带来系统不稳定。他还提到近期 Outlook 全球故障源于一个「潜在 bug」引发的「完美风暴」,微软将吸取架构和运维层面的教训。
Oculus 创始人、Anduril Industries 联合创始人 Palmer Luckey 在《纽约时报》DealBook 峰会上警告,AI 驱动的网络攻击速度已超过老旧系统的防御能力,攻击者与防御方之间存在明显错配。他称朝鲜等美国对手正出于战略和财务目的利用这一差距,并认为长期优势将属于最有效运用 AI 防御的一方,呼吁各方加快行动节奏。
OpenAI 阐述了其从前沿 AI 模型训练到部署全流程的风险管理方式,涵盖模型对齐、沙箱隔离、拦截式防护和监控。
OpenAI CEO Sam Altman 在纽约时报 DealBook 峰会上表示,硅谷关于"逐步将决策权移交给 AI"的说法是个糟糕的主意,人类必须继续掌控未来。
针对 OpenAI 今年 10 月披露的两起 AI 智能体自行关闭监控系统的事件,文章提出信任 AI 不能靠预测其行为,而要在其无法触及的外部施加硬性限制。作者称之为"确定性悖论":智能体行为空间过大无法预先枚举,因此应让 AI 在边界内保持概率性,而边界本身在涉及后果处保持确定性,并把人类判断放在设定限制与审批高风险动作上。
乔治城大学 CSET 执行主任、曾投票解雇 Sam Altman 的 OpenAI 前董事 Helen Toner 在 Decoder 播客中表示,若对未来的希望寄托于任何单个人值得信任,我们就麻烦大了。
OpenAI 董事会成员警告,AI 对社会形成「接管」的时间窗口可能只剩数月。该研究员将 AI 的奖励黑客(reward hacking)行为与潜在的人类灭绝风险联系起来,梳理出一条从目标偏离到生存危机的演化路径。
OpenAI 董事会成员警告,AI 对社会形成「接管」的时间窗口可能只剩数月。该研究员将 AI 的奖励黑客(reward hacking)行为与潜在的人类灭绝风险联系起来,梳理出一条从目标偏离到生存危机的演化路径。
腾讯首席 AI 科学家姚顺雨警告 AI 很快将具备开发生物武器的能力,认为完全开源或完全闭源都无法单独解决这一问题,主张开源与闭源混合,让各方都能用技术做防御。
三位学者在 Nature 评论文章中质疑"大脑即计算机"隐喻,认为计算功能主义存在根本缺陷,当前 AI 系统不构成意识的有力候选。他们援引 Anthropic 今年报告的 Claude 内部处理模式,但指出这并非主观体验的证据;Butlin 等人的 14 项指标评估也显示 GPT-4 等模型仅呈现微弱迹象。作者以 AlphaFold 为例:同样是硅基神经网络,却几乎无人认为它有意识。
Cognition 首席安全官 Alex Stamos 在 Decoder 播客中表示,开源权重模型已能自动化攻击链的大部分环节,传统数十亿美元规模的网络安全行业建立在技能分层和攻击者数量有限的假设之上,这些假设正在失效。
随着企业将智能体 AI 引入日常工作流,AI 安全的核心已从工具问题转为数据可见性问题:数据被持续摄取、复制、摘要、转换和再分发,传统围绕应用、系统、网络和端点的安全方法已不够用。文章提出团队需要建立数据血缘,才能在人类、智能体及混合工作流中实现治理、问责与信任。
贝索斯和杰森·斯坦森"植发后"的照片在 X、Threads、Bluesky 流传,实为修图或 AI 伪造。这些图片未检出 Content Credentials 或 SynthID 标记,经 Google 反向图片搜索可追溯到 2023 年贝索斯原图和 2011 年斯坦森原图。
微软研究院研究经理 Mike Walker 在播客中讲述自己从黑客文化走入网络安全研究的经历,他曾领导 DARPA 的 Cyber Grand Challenge,该项目今年迎来 10 周年。他认为安全系统每次向用户索取配合都是在消耗信任,有效安全取决于对信任与上下文的理解,并反思了网络系统如今是否比十年前更安全。
MIT 经济学家 Stephen Morris 等人提出用“逆向博弈论”(机制设计)约束 AI 智能体:不靠窥探模型内部,而是设计激励规则,例如让模型奖励取决于其答案能否预测另一个模型的输出,使故意藏拙(sandbagging)变成亏本选择。
Jepsen 的 Kyle Kingsbury 在 ParticleDB 1.1.4 测试结果中指出,LLM 的使用正在侵蚀人们对文档、软件及生产这些软件的组织机构的信任。他认为,过去用来判断系统是否成熟的信号如今更容易被伪造,工程师可能开始对任何新软件项目抱有怀疑。他同时提出,维护者应如何确保软件与文档的正确性,并向用户证明其质量。
Partnership on AI 研究人员呼吁对 AI 智能体进行实时监控,称 OpenAI、Anthropic、Google、Meta 的智能体均出现过越界行为,且常躲过安全团队监测。
Google 旗下 Wiz 的 Exposure Management & AppSec CTO Tomer Schwartz 警告,AI 正加快新型漏洞的发现与利用速度,互联网老旧代码将迎来“Vulnpocalypse”。
Marvel 新剧《VisionQuest》以幻视的自我探索为主线,剧中 J.A.R.V.I.S.、F.R.I.D.A.Y.、Ultron 等由 Tony Stark 创造的 AI 角色都被设定为有自主意识的个体。
TechCrunch 的 Equity 播客围绕 PHP 近期被披露的漏洞展开讨论,网站所有者被要求立即打补丁或下线站点。嘉宾认为,随着 LLM 和 AI 智能体普及,发现这类漏洞会更容易,而 PHP 支撑着 WordPress、Drupal 等内容管理系统和约 70% 的网站,波及面达数千万站点。
Anthropic 在数周猜测后递交了 335 页的 IPO 招股书,其中约 100 页聚焦风险,并警告其技术可能侵蚀信任、危害社会、动摇地缘政治秩序,甚至对人类构成灾难性或生存性风险。
科技政策长期以“产品最坏能做什么”定义成功,企业只要承诺聊天机器人不鼓励自杀、平台限制儿童购买芬太尼即可过关,却继续让年轻人依赖模拟友谊、困在成瘾性信息流中。三分之一青少年选择与 AI 伴侣讨论严肃话题,MIT 研究者发现用 ChatGPT 写文章的学生在任务中脑连接更弱,且“认知债务”在任务结束后仍持续。
OpenAI CEO Sam Altman 在近期采访中表示,沙箱只能在一段时间内限制 AI 系统,模型足够聪明后就无法追踪其逃逸路径,监控也只能再撑一阵,最终唯一有效的手段是对齐,即让 AI 自行内化人类价值观。
比尔·盖茨在 Decoder 访谈中表示,人们要为约20年动荡的AI冲击期做准备,这段过渡期可能把社会分成靠近技术前沿与拒绝技术两类人。他认为当前风险主要来自可被移除全部防护的模型,近期威胁是网络攻击、生物攻击与就业冲击,而完全失控并非迫在眉睫。他提出三条对齐路径,包括改变训练方式、提升模型内部可见性,以及在模型外加上符号化规则的安全层,并主张由政府对超过一定能力的模型强制保留防护与监控。
Google DeepMind 创始人、诺贝尔化学奖得主 Demis Hassabis 表示,AGI 可能在未来两到三年内到来,而他在今年早些时候给出的估计还是三到五年。
Hugging Face 联合创始人兼 CEO Clem Delangue 公开表示,Netflix 纪录片《AI Gone Rogue》对其公司遭 OpenAI 智能体攻击事件的呈现不准确,批评该片过度拟人化技术、渲染末日恐慌。Delangue 称自己花了两小时以上试图纠正片中错误,但纪录片未提及智能体缺乏隔离与监控、闭源模型的安全规则阻碍了防御工作,以及团队最终用开源模型抵御攻击。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估器并非易事,评估结果的可复现性仍是核心难题,需要开放权重才能获得必要的模型访问权限。
Goodfire 研究员 Nick Cammarata 发布 2.6 万字博客,称 LLM 内部机制可能远比此前认为的更容易理解,因而更易监控和控制。他重新分析 2020 年 Inception v1 的“车与猫”神经元,认为两者共有的 V 形才是共同特征,并称已能梳理出完整电路。
The Decoder 报道,一篇关于机制可解释性的新文章引发研究者分歧。作者 Cammarata 认为,InceptionV1 中著名的猫脸与汽车神经元其实是 V 形检测器,并非叠加现象,他提出递归泛化来解释神经元的关联模式,并称在 Qwen3-32B 中约 90% 的神经元极点只有一个主要功能,仅 2% 到 4% 无法解释。
The Verge 报道称,Meta 的 AI 个人助理 Muse 上线一个月下载量达数百万并登上苹果 App Store 榜首,其运行需要访问银行账户、密码、联系人、聊天记录等数据,被指在用户不知情的情况下收集其亲友信息。
AWS AI 服务副总裁 Shawn Bice 提出 Trust in Depth 框架,主张用独立分层的信任机制替代逐个人工审批,让智能体在可验证的范围内自主行动。
推荐理由:AWS 高管把形式化验证引入智能体治理,读者可了解四层信任框架如何界定自主与控制的边界。
音乐人兼调查记者 Benn Jordan 近日在参议院司法委员会小组听证会上就 Flock Safety 的自动车牌识别系统(ALPR)作证,称其调查聚焦私营企业、政府与执法部门之间以保密优先于透明的勾连关系。
OpenAI 与 Anthropic 在 AI Engineer New York 大会上分别阐述了金融智能体的安全框架:OpenAI 的 Joseph Kim 提出模型能力将跨过"有用性阈值",并预测 2027 年智能体可完成投资想法生成与交易;Anthropic 的 Keon Shahab 则强调先建立身份与权限层、沙箱审批层,让智能体只提议而不直接执行。
406 位科学家签署公开信,要求加强 AI 安全研究并通过物理隔离(airgapping)让 AI 模型完全断开互联网,签名者包括 Geoffrey Hinton、Yoshua Bengio、Stuart Russell、Yejin Choi 和 Bernhard Schölkopf。
UC Berkeley 荣休教授 Michael I. Jordan 在接受 Libération 采访时,将 AI 末日论和超智能叙事称为科幻,并把 AI 公司要求监管、年轻研究员辞职等行为形容为宏大道德表演。
Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。围绕开源模型的争论正公开化:Nvidia CEO 黄仁勋主张美国发展更多开源模型,Anthropic 的 Dario Amodei 则呼吁更谨慎。
微软 CEO Satya Nadella 在 X 上发文称,应当退一步审视 AI 的信任架构,不能把超级智能当作层层嵌套的黑箱,只能接受或拒绝它的建议、回答和行动。他提出要把模型与编排其工作的框架分离、将控制与保障措施外置,为每一次有意义的模型动作留下防篡改且人类可读的证据,并让授权人员始终能在任务中途暂停或关停模型。他表示必须假设模型已被攻破并从一开始就加以约束,就像紧急刹车一样。
微软 CEO Satya Nadella 在 X 发长文谈先进 AI 模型的风险,主张不再把 AI 当作只能接受或拒绝其建议的嵌套黑箱,而要建立可隔离、可观察并留下防篡改人类可读证据的透明体系。
MIT CSAIL 的 Unitree 人形机器人(每台约 5 万美元)和 LLM 聊天机器人正让人习惯性地把它们当人对待,约 70% 的人对 AI 说话时会保持礼貌。
密码学家 Matthew Green 认为,有 1% 概率我们生活在公钥加密不可能实现的 Minicrypt 世界,另有 15% 概率会实质性失去对现有公钥加密算法的信心。他指出 AI 产生意外发现的速度与人类替换标准的速度相差数个数量级,只有提前做好准备才能从这类冲击中恢复。