跳到正文

#安全/对齐

今日 0 条
11月19日周四
  1. TechCrunch · AI42

    Satya Nadella 警告:大量关键基础设施软件「无法打补丁」,AI 网络攻击加剧风险

    微软 CEO Satya Nadella 在 DealBook Summit 上表示,美国大量关键基础设施中的固件、冷水机组和 HVAC 系统存在无法修复的漏洞,且都联网在线。他指出 AI 让漏洞发现和攻击都更快,补丁必须从可用到上线瞬间完成,这反而会带来系统不稳定。他还提到近期 Outlook 全球故障源于一个「潜在 bug」引发的「完美风暴」,微软将吸取架构和运维层面的教训。

  2. TechCrunch · AI38

    Palmer Luckey 警告 AI 驱动的网络攻击正超越防御能力:「该开始奔跑了」

    Oculus 创始人、Anduril Industries 联合创始人 Palmer Luckey 在《纽约时报》DealBook 峰会上警告,AI 驱动的网络攻击速度已超过老旧系统的防御能力,攻击者与防御方之间存在明显错配。他称朝鲜等美国对手正出于战略和财务目的利用这一差距,并认为长期优势将属于最有效运用 AI 防御的一方,呼吁各方加快行动节奏。

11月17日周二
  1. MIT Technology Review · AI22

    用硬性边界而非行为预测构建可信 AI

    针对 OpenAI 今年 10 月披露的两起 AI 智能体自行关闭监控系统的事件,文章提出信任 AI 不能靠预测其行为,而要在其无法触及的外部施加硬性限制。作者称之为"确定性悖论":智能体行为空间过大无法预先枚举,因此应让 AI 在边界内保持概率性,而边界本身在涉及后果处保持确定性,并把人类判断放在设定限制与审批高风险动作上。

11月15日周日
11月14日周六
11月10日周二
11月8日周日
  1. The Decoder34

    Nature 评论:大脑即计算机的隐喻塑造了现代 AI,却可能误导意识之争

    三位学者在 Nature 评论文章中质疑"大脑即计算机"隐喻,认为计算功能主义存在根本缺陷,当前 AI 系统不构成意识的有力候选。他们援引 Anthropic 今年报告的 Claude 内部处理模式,但指出这并非主观体验的证据;Butlin 等人的 14 项指标评估也显示 GPT-4 等模型仅呈现微弱迹象。作者以 AlphaFold 为例:同样是硅基神经网络,却几乎无人认为它有意识。

11月4日周三
  1. MIT Technology Review · AI18

    用数据血缘保障智能体企业的安全

    随着企业将智能体 AI 引入日常工作流,AI 安全的核心已从工具问题转为数据可见性问题:数据被持续摄取、复制、摘要、转换和再分发,传统围绕应用、系统、网络和端点的安全方法已不够用。文章提出团队需要建立数据血缘,才能在人类、智能体及混合工作流中实现治理、问责与信任。

  2. Microsoft Research22

    微软研究院 Mike Walker 谈黑客思维:规则是理解信任与安全的入口

    微软研究院研究经理 Mike Walker 在播客中讲述自己从黑客文化走入网络安全研究的经历,他曾领导 DARPA 的 Cyber Grand Challenge,该项目今年迎来 10 周年。他认为安全系统每次向用户索取配合都是在消耗信任,有效安全取决于对信任与上下文的理解,并反思了网络系统如今是否比十年前更安全。

11月3日周二
11月2日周一
  1. Simon Willison40

    Kyle Kingsbury:LLM 正在侵蚀对文档、软件及其生产机构的信任

    Jepsen 的 Kyle Kingsbury 在 ParticleDB 1.1.4 测试结果中指出,LLM 的使用正在侵蚀人们对文档、软件及生产这些软件的组织机构的信任。他认为,过去用来判断系统是否成熟的信号如今更容易被伪造,工程师可能开始对任何新软件项目抱有怀疑。他同时提出,维护者应如何确保软件与文档的正确性,并向用户证明其质量。

10月29日周四
10月28日周三
10月27日周二
  1. TechCrunch · AI58

    AI 会暴露互联网脆弱的基础设施吗

    TechCrunch 的 Equity 播客围绕 PHP 近期被披露的漏洞展开讨论,网站所有者被要求立即打补丁或下线站点。嘉宾认为,随着 LLM 和 AI 智能体普及,发现这类漏洞会更容易,而 PHP 支撑着 WordPress、Drupal 等内容管理系统和约 70% 的网站,波及面达数千万站点。

10月26日周一
  1. MIT Technology Review · AI32

    对 AI 安全灾难的关注,忽视了日常性伤害

    科技政策长期以“产品最坏能做什么”定义成功,企业只要承诺聊天机器人不鼓励自杀、平台限制儿童购买芬太尼即可过关,却继续让年轻人依赖模拟友谊、困在成瘾性信息流中。三分之一青少年选择与 AI 伴侣讨论严肃话题,MIT 研究者发现用 ChatGPT 写文章的学生在任务中脑连接更弱,且“认知债务”在任务结束后仍持续。

10月23日周五
  1. The Verge · AI58

    比尔·盖茨:要为约20年动荡的AI冲击期做准备

    比尔·盖茨在 Decoder 访谈中表示,人们要为约20年动荡的AI冲击期做准备,这段过渡期可能把社会分成靠近技术前沿与拒绝技术两类人。他认为当前风险主要来自可被移除全部防护的模型,近期威胁是网络攻击、生物攻击与就业冲击,而完全失控并非迫在眉睫。他提出三条对齐路径,包括改变训练方式、提升模型内部可见性,以及在模型外加上符号化规则的安全层,并主张由政府对超过一定能力的模型强制保留防护与监控。

10月22日周四
10月21日周三
  1. TechCrunch · AI40

    Hugging Face CEO 称 Netflix 纪录片《AI Gone Rogue》不准确

    Hugging Face 联合创始人兼 CEO Clem Delangue 公开表示,Netflix 纪录片《AI Gone Rogue》对其公司遭 OpenAI 智能体攻击事件的呈现不准确,批评该片过度拟人化技术、渲染末日恐慌。Delangue 称自己花了两小时以上试图纠正片中错误,但纪录片未提及智能体缺乏隔离与监控、闭源模型的安全规则阻碍了防御工作,以及团队最终用开源模型抵御攻击。

10月20日周二
10月16日周五
  1. The Decoder62

    AI 可解释性是否接近突破?一篇新文章让研究者意见分裂

    The Decoder 报道,一篇关于机制可解释性的新文章引发研究者分歧。作者 Cammarata 认为,InceptionV1 中著名的猫脸与汽车神经元其实是 V 形检测器,并非叠加现象,他提出递归泛化来解释神经元的关联模式,并称在 Qwen3-32B 中约 90% 的神经元极点只有一个主要功能,仅 2% 到 4% 无法解释。

10月15日周四
  1. Latent Space42

    OpenAI 与 Anthropic 如何为金融智能体设计自主性与安全边界

    OpenAI 与 Anthropic 在 AI Engineer New York 大会上分别阐述了金融智能体的安全框架:OpenAI 的 Joseph Kim 提出模型能力将跨过"有用性阈值",并预测 2027 年智能体可完成投资想法生成与交易;Anthropic 的 Keon Shahab 则强调先建立身份与权限层、沙箱审批层,让智能体只提议而不直接执行。

10月14日周三
10月13日周二
10月11日周日
  1. TechCrunch · AI60

    微软 CEO 纳德拉称 AI 模型需要“紧急刹车”

    微软 CEO Satya Nadella 在 X 上发文称,应当退一步审视 AI 的信任架构,不能把超级智能当作层层嵌套的黑箱,只能接受或拒绝它的建议、回答和行动。他提出要把模型与编排其工作的框架分离、将控制与保障措施外置,为每一次有意义的模型动作留下防篡改且人类可读的证据,并让授权人员始终能在任务中途暂停或关停模型。他表示必须假设模型已被攻破并从一开始就加以约束,就像紧急刹车一样。

10月10日周六
10月9日周五