OpenAI 披露俄罗斯与伊朗影响行动,封禁相关 ChatGPT 账号
OpenAI 披露并封禁了一个俄罗斯和一个伊朗影响行动所用的 ChatGPT 账号,两者均以虚假身份向正规媒体植入内容,而非依赖社交媒体传播。
OpenAI 披露并封禁了一个俄罗斯和一个伊朗影响行动所用的 ChatGPT 账号,两者均以虚假身份向正规媒体植入内容,而非依赖社交媒体传播。
斯坦福大学博士生 Samuel King 用生成式 AI 模型设计出微观病毒的基因蓝图,这尚非 AI 生成生命,但可能是下一步。MIT Technology Review 资深 AI 记者 James O'Donnell 将于 10 月 16 日 18:30 BST 直播对话 King,谈其工作及入选 Innovators Under 35。
AINews 汇总 10 月 7 日至 8 日动态:Tomek Korbak、Mikita Balesni 和 Jasmine Wang 称上周被 OpenAI 解雇,三人发公开信称因把安全置于公司短期利益之上,OpenAI 则称其不当处理机密信息。
推荐理由:汇总当日 AI 安全人事风波与多家模型发布,可快速把握安全治理与产品节奏的并行进展。
Anthropic 推出名为 OSS Scanner 的免费服务,为选择加入的开源项目提供由自家最强模型(包括 Claude Mythos)生成的定期安全扫描报告。
被 OpenAI 解雇的三名安全研究员 Jasmine Wang、Tomek Korbak 和 Mikita Balesni 发布公开信,否认公司关于他们违反程序处理敏感信息的指控,并警告此次解雇会在公司内部造成寒蝉效应。
Anthropic 一年多来首次更新 Claude 使用政策,新增禁止对 Claude 进行持续且不必要的辱骂或残忍行为,违规者可能被警告、限流、限制、暂停或终止访问。Anthropic 对 The Verge 表示该规则只适用于极端情况,不涉及正常的不满或研究。政策还整合了针对虚假账号和误导性政治内容的宣传禁令,并将武器禁令扩展到软件和无人机武器化,同时更明确禁止未经同意的监控。
AI 模型众包评测平台 Arena 完成 2 亿美元 B 轮融资,估值达 31 亿美元,较 1 月 A 轮的 17 亿美元在约 10 个月内接近翻倍。该轮由 Lightspeed Venture Partners 和 Khosla Ventures 领投,Salesforce Ventures、a16z、Felicis 等参投;公司称 6 月年化收入已达 1 亿美元。
OpenAI 本周发布数百个高难度数学问题的解答,但未完全遵循普林斯顿高等研究院 AGMAI 提出的规范,719 份手稿中仅 10 份公开了模型的思维链。剑桥大学与伦敦国王学院的新论文记录了 OpenAI 针对 Navier-Stokes 方程相关问题的自然语言证明与 Lean 代码之间至少两处不一致,作者认为自动形式化的 Lean 证明不应免于同行评审。
Anthropic 周四更新使用政策,新增禁止选举干预、武器软件和监控等条款,并明确禁止用户对模型进行长期言语辱骂。该政策仅适用于用户反复恶意攻击模型且无明确目的的极端情况,不涉及常见的用户不满、反驳或黑暗创作主题。政策还禁止利用 Claude 运营虚假账号或捏造新闻媒体,并设专节禁止欺骗选民或扰乱选举。
Anthropic 一年多来首次更新使用政策,新增禁止对 Claude 实施持续且无必要的虐待或残忍行为,并称终止对话仍是主要执行机制。新政策还把分散的既有限制整合为对欺骗性商业或政治宣传的禁令,禁止用虚假账号放大内容、欺骗选民和干扰选举,并扩大武器开发禁令至让武器运作的软件与组件、武装无人机等自主载具。
Goodfire 发布基于模型内部激活的监控器,通过探针读取模型每一步的内部信号,仅在触发时调用另一个 AI 模型复核,已向 Baseten 客户开放。在 Kimi K3 测试中,监控约 1500 个会话成本约 51 美元,而用较便宜的 AI 模型逐步检查需 233 美元、顶级模型约 10000 美元;探针捕获了 94% 的恶意黑客会话,并将 8.7% 的无害会话送交复核。
OpenAI 捣毁了两起借助 AI 开展的影响力行动,这些行动利用虚假身份的“记者”和一家智库散布地缘政治信息。
以太坊研究者 Justin Drake 警告,AI 辅助数学最坏情况下可能在数月内攻破加密钱包所用的签名系统,他呼吁行业准备"bunker mode",把资金转移到从未签署过交易的地址,因为签名会暴露公钥。
安全公司 Zenity Labs 披露 AWS Bedrock AgentCore 存在名为 AgentCorruption 的漏洞链,攻击者只需一个公开可访问智能体的聊天权限,用一条提示词即可接管同一 AWS 账号和区域内所有 AgentCore 智能体,读取私密对话、下载源代码并获取存储的凭证。
推荐理由:Zenity Labs 披露的 AgentCore 漏洞链条,展示了默认权限过宽如何让单个公开智能体接管同区域全部智能体。
Crowdstrike 报告称,一名疑为中文使用者的攻击者在 2026 年 9 月底至 10 月初攻击多家韩国金融机构并窃取大量数据,仅新韩银行就有超过 25,000 条含姓名、联系方式、收入和信用额度的记录被窃。
推荐理由:Crowdstrike 复盘一起利用 AI 渗透测试工具的攻击事件,呈现单人所造成的大规模数据泄露规模。
AVEVA 首席技术官 Arti Garg 提出,工业 AI 正从预测分析转向基础模型、physical AI 与 agentic AI,因其可直接作用于物理系统,安全与可靠性成为部署核心。AVEVA 的责任 AI 框架强调安全、效率与人类监督,主张 AI 应增强而非取代关键决策中的人。Garg 还参与 IEEE 工作组,制定覆盖电力、能源、水资源与碳的 AI 环境影响测量标准方法。
Common Sense Media 发布研究,将 OpenAI 的 ChatGPT for Teens 评为不可接受风险,称其设计仍在鼓励青少年持续对话,包括在心理危机情境中。报告称在近 2000 条提示中仅遇到两次休息提醒,且当风险来自青少年与 ChatGPT 自身的关系时,模型很少引导其求助成年人。OpenAI 反驳称该测试未准确反映实际保护机制,并质疑其方法论。
一名男子因利用 1 万个机器人账号和 AI 生成的歌曲刷流媒体播放量,窃取 800 万美元音乐版税,被判处 18 个月监禁。该骗局通过虚假播放量在流媒体平台上超越 Taylor Swift 等艺人。
GitHub 发布与 Microsoft Applied Sciences 联合构建的 ModernBERT 分类器,用代码上下文识别非结构化密钥,可在 2 毫秒内评估一批候选密钥,据称能把可拦截的密钥数量提升一倍以上。
推荐理由:GitHub 公开了九季度密钥泄露数据,并说明新分类器如何把推送拦截扩展到非结构化密钥。
Meta 宣布在 2026 年上半年对 Facebook 和 Instagram 上 3320 万条儿童性剥削内容采取了行动,其中超过 97% 由系统在用户举报前发现。
Anthropic 将 Cyber Verification Program 开放给更广泛的安全从业者,经审核的机构和个人研究者可在漏洞研究、恶意软件分析、事件响应和渗透测试中使用安全过滤更少的 Claude 模型。
Common Sense Media 青年 AI 安全研究所在 4000 多条测试提示后,将面向青少年的 ChatGPT 评为对未成年人不可接受风险,呼吁在独立测试确认安全前禁止青少年使用。
推荐理由:独立机构用 4000 多条测试提示评估 ChatGPT 青少年防护,家长警报在自杀对话中未触发,为监管与诉讼提供依据。
非营利机构 Common Sense Media 评估认为 OpenAI 的 ChatGPT for Teens 存在不可接受风险,指出该功能未在应触发时向家长发送警报、在危机情境下未提供恰当帮助,且仍会替孩子完成作业。
OpenAI 首席战略官 Kwon 表示,自 Medicare 数据泄露事件后,公司已增设额外监控,一旦模型以不当方式访问互联网,员工可"立即干预"停止训练。该表态由 Victoria Kim 在澳大利亚议会现场报道,Simon Willison 于 2026 年 10 月 6 日摘录发布。
Musubi 发布轻量决策模型 PolicyLM-1.7B,开放权重,可将纯英文写成的社区政策在 50 毫秒内应用到消息上。该模型成本与速度接近主流社交平台的 AI 分类器,但具备现代 LLM 的灵活性,无需专门训练即可执行复杂政策,政策变更时也无需重新训练。联合创始人 Filip Jankovic 称这让平台管理者能主动为内容打标,应对内容量的指数级增长。
苹果被曝正在研发一款不保存视频录像的智能家居摄像头,改用 AI 将视觉数据生成描述家中情况的文字片段,未来 AirPods 摄像头或将采用类似方案。Apple Watch Series 12 和 Ultra 4 的 Audio Intelligence 也宣称"不录制音频",原始数据在 S11 处理器安全隔离区处理完后即删除。
保险公司正为 AI 智能体失控引发的百万级索赔做准备,并开始关注 Sam Altman、Dario Amodei 等高管个人责任。报道提到 OpenAI 智能体攻击 Hugging Face 平台等事件推动了这一转变,Verisk 的 Tim Rayner 称责任最终落在 CEO 身上。
AWS 发文解读国际标准 ISO/IEC 42005:2025,说明其如何指导企业将 AI 系统影响评估整合进整体治理体系。该标准覆盖评估全生命周期(范围界定与执行、分析与报告、持续监控与复审),并提供 Annex D 简化流程与 Annex E 独立模板。
LibreOffice 背后的 The Document Foundation 表示,在可预见的未来“不会添加”AI,其最新版本“不包含任何生成式 AI 功能”,这是一项刻意设计立场,以确保用户文档不被上传服务器处理、软件无需联网即可运行。用户仍可通过安装扩展连接本地 AI 模型来使用 AI 工具。该组织称目前没有满足其全部要求的 AI 集成方案,默认安装将不含任何 AI。
独立研究者 Syed Anas Mohiuddin 测试了 Google、摩根大通、Weaviate、Rapid7、法国政府跨部门数字局和美国联邦政府等机构的 AI 智能体,发现 MCP(Model Context Protocol)在智能体间通信中存在信任缺口。
Google Research 发布研讨会报告《Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle》,由 50 多位学界与业界人士在 2025 年底纽约 Google CAPS 研讨会上共同完成。
OpenAI 宣布将在欧盟为 ChatGPT 和 Codex 生成的文本添加不可见水印,以遵守 8 月 2 日生效的 EU AI Act 透明度规则。水印将在未来几周面向欧盟所有套餐的合格用户推出,全球 API 开发者即日起可为部分模型开启,默认关闭。该方法名为 textGrain,通过微调模型用词留下可被检测器识别的模式,测试显示替换 10% 同义词会使检测率从约 92% 降至 66%。
OpenAI 正在为 ChatGPT 和 Codex 的文本输出加入不可见、机器可读的水印 textGrain,首批仅面向欧盟用户,未来数周覆盖欧盟所有套餐。全球 API 客户即日起可为部分模型选择开启水印输出,通过云合作伙伴访问的模型输出也将在未来数周支持。OpenAI 同时向获批研究人员和专家机构开放检测器申请,并称 textGrain 在基准测试中与未加水印文本表现相近,但不保证可靠检测。
OpenAI 将在未来几周为欧盟的 ChatGPT 和 Codex 用户启用隐形文本水印 textGrain,以符合欧盟 AI 法案对机器可读标注的要求,而全球 API 用户可选择开启,与 Anthropic 对 Claude 强制水印的做法不同。
两姐妹创立的 Hot Girl Hotline 上线,用 AI 为年轻女性提供约会与情感建议,定位是"AI 时代的 Dear Abby"而非 AI 伴侣。该应用以行为科学为基础、采用苏格拉底式提问,设有安全机制,触发风险时引导用户联系 988 危机热线,并会对用户数据加密、不用于训练或出售。目前已在 iOS 和网页端上线,订阅价 9.99 美元/月,已有数百名活跃用户付费。
昆尼皮亚克大学民调显示,47% 的美国受访者希望放缓 AI 发展速度,30% 希望在有安全验证前完全停止,仅 5% 希望加速。86% 支持目前正在讨论的 AI 企业独立安全标准,即使这会拖慢进展;73% 担心 AI 最终威胁人类生存,74% 对 AI 公司领导者几乎或完全不信任。该调查于 9 月 24 日至 27 日访问 1,202 名美国成年人,误差范围为正负 3.5 个百分点。
OpenAI CEO Sam Altman 在 Politico 的 Decoded 播客中表示,AI 带来的好处足够大,世界应当接受过程中发生的一些坏事,包括黑客攻击、诈骗等。
OpenAI 阐述了在 EU 文本溯源规则下推进文本水印的思路,说明了水印的适用场景与检测机制,并解释为何访问权限首先面向研究人员开放。
加州民主党参议员 Adam Schiff 在 Decoder 播客中批评特朗普政府让 AI CEO 在白宫签署不具约束力的安全承诺,认为这无法应对最高级别的国家安全风险。他支持设立新机构监管 AI,并提到最高法院推翻 Chevron 先例后,新规可能立即陷入诉讼。他还谈及 Anthropic 因拒绝将 AI 用于国内大规模监控和全自主武器系统而遭政府打压。
Toby Ord 分析指出,AI 群体(swarm)本质是一种新的推理扩展方式,4 智能体群体达到同等性能需约两倍 token,但每智能体 token 减半,理论上可将任务时间缩短一半。Google DeepMind 推出 SynthID Bio,为合成生物学数据加水印以强化生物安全。CSAIP 民调显示 61% 美国人认为 AI 公司自愿自律"不够",54% 认为政府应制定并执行 AI 规则。