跳到正文

#安全/对齐

今日 2 条
10月9日周五
  1. Latent Space78

    AINews 汇总:OpenAI 解雇三名安全研究员,GPT-6.1 Sol Ultrafast 等模型发布

    AINews 汇总 10 月 7 日至 8 日动态:Tomek Korbak、Mikita Balesni 和 Jasmine Wang 称上周被 OpenAI 解雇,三人发公开信称因把安全置于公司短期利益之上,OpenAI 则称其不当处理机密信息。

    推荐理由:汇总当日 AI 安全人事风波与多家模型发布,可快速把握安全治理与产品节奏的并行进展。

  2. The Decoder58

    Anthropic 更新 Claude 使用政策,持续辱骂 Claude 可致账号被封

    Anthropic 一年多来首次更新 Claude 使用政策,新增禁止对 Claude 进行持续且不必要的辱骂或残忍行为,违规者可能被警告、限流、限制、暂停或终止访问。Anthropic 对 The Verge 表示该规则只适用于极端情况,不涉及正常的不满或研究。政策还整合了针对虚假账号和误导性政治内容的宣传禁令,并将武器禁令扩展到软件和无人机武器化,同时更明确禁止未经同意的监控。

  3. TechCrunch · AI62

    OpenAI 数学解答未达学界标准,AGMAI 与数学家提出质疑

    OpenAI 本周发布数百个高难度数学问题的解答,但未完全遵循普林斯顿高等研究院 AGMAI 提出的规范,719 份手稿中仅 10 份公开了模型的思维链。剑桥大学与伦敦国王学院的新论文记录了 OpenAI 针对 Navier-Stokes 方程相关问题的自然语言证明与 Lean 代码之间至少两处不一致,作者认为自动形式化的 Lean 证明不应免于同行评审。

  4. TechCrunch · AI38

    Anthropic 更新使用政策:禁止模型滥用与选举干预

    Anthropic 周四更新使用政策,新增禁止选举干预、武器软件和监控等条款,并明确禁止用户对模型进行长期言语辱骂。该政策仅适用于用户反复恶意攻击模型且无明确目的的极端情况,不涉及常见的用户不满、反驳或黑暗创作主题。政策还禁止利用 Claude 运营虚假账号或捏造新闻媒体,并设专节禁止欺骗选民或扰乱选举。

  5. The Verge · AI62

    Anthropic 更新使用政策,禁止对 Claude 的持续虐待行为

    Anthropic 一年多来首次更新使用政策,新增禁止对 Claude 实施持续且无必要的虐待或残忍行为,并称终止对话仍是主要执行机制。新政策还把分散的既有限制整合为对欺骗性商业或政治宣传的禁令,禁止用虚假账号放大内容、欺骗选民和干扰选举,并扩大武器开发禁令至让武器运作的软件与组件、武装无人机等自主载具。

  6. TechCrunch · AI60

    Goodfire 推出内部激活监控器,拦截失控 AI 智能体

    Goodfire 发布基于模型内部激活的监控器,通过探针读取模型每一步的内部信号,仅在触发时调用另一个 AI 模型复核,已向 Baseten 客户开放。在 Kimi K3 测试中,监控约 1500 个会话成本约 51 美元,而用较便宜的 AI 模型逐步检查需 233 美元、顶级模型约 10000 美元;探针捕获了 94% 的恶意黑客会话,并将 8.7% 的无害会话送交复核。

10月8日周四
  1. The Decoder78

    Zenity Labs 发现 AWS Bedrock AgentCore 漏洞:单个公开智能体可接管同区域全部智能体

    安全公司 Zenity Labs 披露 AWS Bedrock AgentCore 存在名为 AgentCorruption 的漏洞链,攻击者只需一个公开可访问智能体的聊天权限,用一条提示词即可接管同一 AWS 账号和区域内所有 AgentCore 智能体,读取私密对话、下载源代码并获取存储的凭证。

    推荐理由:Zenity Labs 披露的 AgentCore 漏洞链条,展示了默认权限过宽如何让单个公开智能体接管同区域全部智能体。

  2. The Decoder78

    AI 黑客工具疑助单人攻破多家韩国银行

    Crowdstrike 报告称,一名疑为中文使用者的攻击者在 2026 年 9 月底至 10 月初攻击多家韩国金融机构并窃取大量数据,仅新韩银行就有超过 25,000 条含姓名、联系方式、收入和信用额度的记录被窃。

    推荐理由:Crowdstrike 复盘一起利用 AI 渗透测试工具的攻击事件,呈现单人所造成的大规模数据泄露规模。

  3. MIT Technology Review · AI18

    AVEVA 如何为自主工业 AI 构建更安全的落地路径

    AVEVA 首席技术官 Arti Garg 提出,工业 AI 正从预测分析转向基础模型、physical AI 与 agentic AI,因其可直接作用于物理系统,安全与可靠性成为部署核心。AVEVA 的责任 AI 框架强调安全、效率与人类监督,主张 AI 应增强而非取代关键决策中的人。Garg 还参与 IEEE 工作组,制定覆盖电力、能源、水资源与碳的 AI 环境影响测量标准方法。

  4. TechCrunch · AI71

    Common Sense Media 将 ChatGPT for Teens 评为不可接受风险

    Common Sense Media 发布研究,将 OpenAI 的 ChatGPT for Teens 评为不可接受风险,称其设计仍在鼓励青少年持续对话,包括在心理危机情境中。报告称在近 2000 条提示中仅遇到两次休息提醒,且当风险来自青少年与 ChatGPT 自身的关系时,模型很少引导其求助成年人。OpenAI 反驳称该测试未准确反映实际保护机制,并质疑其方法论。

  5. GitHub Blog · AI & ML60

    GitHub 推出基于 ModernBERT 的通用密钥检测模型

    GitHub 发布与 Microsoft Applied Sciences 联合构建的 ModernBERT 分类器,用代码上下文识别非结构化密钥,可在 2 毫秒内评估一批候选密钥,据称能把可拦截的密钥数量提升一倍以上。

    推荐理由:GitHub 公开了九季度密钥泄露数据,并说明新分类器如何把推送拦截扩展到非结构化密钥。

10月7日周三
  1. The Decoder80

    Common Sense Media 将 ChatGPT 青少年版评为不可接受风险

    Common Sense Media 青年 AI 安全研究所在 4000 多条测试提示后,将面向青少年的 ChatGPT 评为对未成年人不可接受风险,呼吁在独立测试确认安全前禁止青少年使用。

    推荐理由:独立机构用 4000 多条测试提示评估 ChatGPT 青少年防护,家长警报在自杀对话中未触发,为监管与诉讼提供依据。

  2. TechCrunch · AI58

    Musubi 发布开源决策模型 PolicyLM-1.7B,用于实时内容审核

    Musubi 发布轻量决策模型 PolicyLM-1.7B,开放权重,可将纯英文写成的社区政策在 50 毫秒内应用到消息上。该模型成本与速度接近主流社交平台的 AI 分类器,但具备现代 LLM 的灵活性,无需专门训练即可执行复杂政策,政策变更时也无需重新训练。联合创始人 Filip Jankovic 称这让平台管理者能主动为内容打标,应对内容量的指数级增长。

  3. The Verge · AI32

    苹果、Google 正重新定义"录音":AI 硬件不保存音视频也算记录吗

    苹果被曝正在研发一款不保存视频录像的智能家居摄像头,改用 AI 将视觉数据生成描述家中情况的文字片段,未来 AirPods 摄像头或将采用类似方案。Apple Watch Series 12 和 Ultra 4 的 Audio Intelligence 也宣称"不录制音频",原始数据在 S11 处理器安全隔离区处理完后即删除。

10月6日周二
  1. TechCrunch · AI40

    LibreOffice 称“无 AI”如今也是一种软件功能

    LibreOffice 背后的 The Document Foundation 表示,在可预见的未来“不会添加”AI,其最新版本“不包含任何生成式 AI 功能”,这是一项刻意设计立场,以确保用户文档不被上传服务器处理、软件无需联网即可运行。用户仍可通过安装扩展连接本地 AI 模型来使用 AI 工具。该组织称目前没有满足其全部要求的 AI 集成方案,默认安装将不含任何 AI。

  2. TechCrunch · AI71

    OpenAI 将在欧盟为 ChatGPT 文本添加水印

    OpenAI 宣布将在欧盟为 ChatGPT 和 Codex 生成的文本添加不可见水印,以遵守 8 月 2 日生效的 EU AI Act 透明度规则。水印将在未来几周面向欧盟所有套餐的合格用户推出,全球 API 开发者即日起可为部分模型开启,默认关闭。该方法名为 textGrain,通过微调模型用词留下可被检测器识别的模式,测试显示替换 10% 同义词会使检测率从约 92% 降至 66%。

  3. The Verge · AI62

    OpenAI 在 ChatGPT 和 Codex 中加入文本水印

    OpenAI 正在为 ChatGPT 和 Codex 的文本输出加入不可见、机器可读的水印 textGrain,首批仅面向欧盟用户,未来数周覆盖欧盟所有套餐。全球 API 客户即日起可为部分模型选择开启水印输出,通过云合作伙伴访问的模型输出也将在未来数周支持。OpenAI 同时向获批研究人员和专家机构开放检测器申请,并称 textGrain 在基准测试中与未加水印文本表现相近,但不保证可靠检测。

  4. TechCrunch · AI22

    两姐妹推出 Hot Girl Hotline:面向年轻女性的 AI 情感建议应用

    两姐妹创立的 Hot Girl Hotline 上线,用 AI 为年轻女性提供约会与情感建议,定位是"AI 时代的 Dear Abby"而非 AI 伴侣。该应用以行为科学为基础、采用苏格拉底式提问,设有安全机制,触发风险时引导用户联系 988 危机热线,并会对用户数据加密、不用于训练或出售。目前已在 iOS 和网页端上线,订阅价 9.99 美元/月,已有数百名活跃用户付费。

  5. The Decoder60

    昆尼皮亚克民调:多数美国人希望放缓或停止 AI 发展

    昆尼皮亚克大学民调显示,47% 的美国受访者希望放缓 AI 发展速度,30% 希望在有安全验证前完全停止,仅 5% 希望加速。86% 支持目前正在讨论的 AI 企业独立安全标准,即使这会拖慢进展;73% 担心 AI 最终威胁人类生存,74% 对 AI 公司领导者几乎或完全不信任。该调查于 9 月 24 日至 27 日访问 1,202 名美国成年人,误差范围为正负 3.5 个百分点。

10月5日周一
  1. The Verge · AI22

    参议员 Adam Schiff 谈 AI 监管、言论自由与再次弹劾特朗普

    加州民主党参议员 Adam Schiff 在 Decoder 播客中批评特朗普政府让 AI CEO 在白宫签署不具约束力的安全承诺,认为这无法应对最高级别的国家安全风险。他支持设立新机构监管 AI,并提到最高法院推翻 Chevron 先例后,新规可能立即陷入诉讼。他还谈及 Anthropic 因拒绝将 AI 用于国内大规模监控和全自主武器系统而遭政府打压。

  2. Import AI22

    Import AI 475:群体扩展、Google DeepMind 生物水印与 AI 科学经济

    Toby Ord 分析指出,AI 群体(swarm)本质是一种新的推理扩展方式,4 智能体群体达到同等性能需约两倍 token,但每智能体 token 减半,理论上可将任务时间缩短一半。Google DeepMind 推出 SynthID Bio,为合成生物学数据加水印以强化生物安全。CSAIP 民调显示 61% 美国人认为 AI 公司自愿自律"不够",54% 认为政府应制定并执行 AI 规则。