为 Amazon Aurora PostgreSQL 设计负责任的 AI 控制措施
AWS 将八项负责任 AI(RAI)维度映射到 Amazon Aurora PostgreSQL 的能力上,并以基于 RAG 的客服机器人为参考用例,深入实现其中的可解释性维度。
AWS 将八项负责任 AI(RAI)维度映射到 Amazon Aurora PostgreSQL 的能力上,并以基于 RAG 的客服机器人为参考用例,深入实现其中的可解释性维度。
OpenAI 阐述了其从前沿 AI 模型训练到部署全流程的风险管理方式,涵盖模型对齐、沙箱隔离、拦截式防护和监控。
AWS 提出面向智能体 AI 平台的负责任 AI 三阶段成熟度框架:治理基础、试点部署、评估与加固,并配套 Responsible AI Assessment Skill 与评分卡,将 AWS Responsible AI Lens 各支柱映射到 12 周可定制实施时间线。
OpenAI 正与北约及盟国网络机构合作,帮助可信防御方发现漏洞、测试修复方案并保护关键系统。合作重点覆盖漏洞发现与修复验证两个环节,目标是提升对核心基础设施的防护能力。
OpenAI 推出新工具、实用指南与合作项目,用于预防、检测和应对网络儿童性剥削与性虐待。这些工具与支持旨在帮助相关方提升识别与响应能力。
Amazon Bedrock Guardrails 的 Denied Topics 按语义而非关键词匹配内容,容易误伤含义相近的合法请求。文章以虚构的 AnyCompany Bank 客服助手为例,总结出八项最佳实践,核心是围绕用户意图而非主题领域来定义话题,并分别落实到名称、定义和示例三部分。
IBM 发布 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview 两个实验性预览模型,基于 Granite 4.1 base 训练,可读写 LLMON 标记文本。
推荐理由:IBM 团队解释了 LLMON 如何用保留特殊 token 标记指令与数据边界,并给出提示注入攻击成功率下降的基准对比。
OpenAI 启动首阶段嵌入式评估,与 Apollo Research、METR、Transluce 和 Goodfire 合作,由这些机构独立评估模型对齐、安全防护与监控系统。
针对智能体代用户检索内部文档时的越权风险,Amazon Bedrock 方案在 AgentCore Gateway 工具层用请求拦截器从已验证 JWT 中注入 userContext,再由 Managed Knowledge Base 的 ACL awareness 只返回该用户可见的文档。
OpenAI 承诺投入 200 万美元用于 AI 与儿童安全研究,支持共享工具以衡量青少年面临的风险与机会。
开源引擎用反合一(anti-unification)在 e-graph 上计算两条形式化策略的最具体公共模式,把相同部分只展示一次、差异部分并列保留,从而过滤掉重排合取项、等价谓词等语法噪声。该引擎不导入 Cedar、Dogwood、OpenShell、CEL 的原生策略,而是把相关语法编码为项并声明等式。它可用于对比 LLM 自动形式化多次生成的候选,先审查变化部分。
Cogent 结合 OpenAI 模型与企业上下文,用智能体帮助企业自动修复漏洞。
微软研究人员发现名为 Lazarus 的后门技术,通过改写 LLM 中不到 10 个休眠神经元、无需训练即可给基于该模型的智能体植入后门,模型仍能通过标准评测,直到触发条件出现(如时钟跨入 2027 年)才执行下载并运行攻击者代码等命令。
推荐理由:微软研究团队披露一种无需训练、改写不到 10 个休眠神经元即可给智能体植入后门的方法,并给出权重溯源与扫描的防护思路。
Google DeepMind 发布 AlphaProof Code,这是一个多 LLM 智能体框架,用于对实际运行代码做深度形式化验证。研究团队与模型协作把 Signal 的安全目标转写为形式化规格,由 Gemini Carbon 驱动的智能体生成超过六百万行 Lean 证明,整个过程耗时四周,而人工团队通常需要数年。
推荐理由:原文交代了多智能体框架如何把形式化验证拆成规格与证明两步,并给出四周完成 Signal 协议验证的对照。
OpenAI 推出 Control Room,用于跨研究基础设施追踪模型工作负载,并在出现安全或安保问题时快速中止。该系统面向模型训练与运行中的风险管控,强调对工作负载的集中可见性与紧急停止能力。
现代汽车集团正在探索 NVIDIA NemoClaw 蓝图与 OpenShell 运行时,韩国 AI 安全公司 AIM Intelligence 则将 Starfort 智能体控制平台与 OpenShell 集成,结合运行时访问控制与恶意指令、数据泄露检测能力。
OpenAI 与 Hacktron 建立合作,共同查找 OpenAI 系统中的漏洞、测试与第三方服务的连接,并借助前沿 AI 强化防御。
Taxbit 在 Amazon Bedrock AgentCore 上构建了嵌入仪表盘的 AI 助手 Taxbit Assist,基于 Strands Agents SDK 运行,由系统提示词、模型和 8 个工具组成,答案均带来源链接。
Okta Cross App Access(XAA)与 Amazon Bedrock AgentCore 组合,可在 IdP 中管控 AI 智能体代表哪个用户在哪个应用内操作。
OpenAI 发布 GPT‑6 Cyber,这是一款用于发现可利用漏洞并开发修复方案的网络安全模型。该模型经过训练,被要求只在授权范围内行动。
推荐理由:OpenAI 发布面向网络安全的专用模型,读者可了解其漏洞发现与修复能力及授权范围约束。
OpenAI 构建了一条自主流水线,在 Linux 内核中发现、验证并生成补丁,覆盖 948 个本地权限提升漏洞。材料仅给出这一结果,未披露流水线的具体构成与漏洞细节。
推荐理由:OpenAI 披露了一条自主流水线,可自动发现、验证并生成 Linux 内核提权漏洞补丁,读者可据此了解漏洞挖掘自动化的当前边界。
AWS Quick 上线 Smart Approvals,用独立的分类器模型对照用户请求评估符合条件的操作,自动批准或退回人工审核,且不额外授予权限、不取消强制人工审批。该功能默认开启,管理员可通过 Custom Permissions 控制使用范围,用户也可自行关闭。自动批准为单次有效,仅适用于被审核的确切操作与参数,相关权限事件记录在 AWS CloudTrail 中。
Collinear AI 在 Hugging Face 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化、可复现。
Cisco 将网络智能与 OpenAI 模型结合,用于强化企业安全防护并构建更具自适应性的防御体系。原文未披露具体模型版本、参数规模或性能数据。
微软研究院研究经理 Mike Walker 在播客中讲述自己从黑客文化走入网络安全研究的经历,他曾领导 DARPA 的 Cyber Grand Challenge,该项目今年迎来 10 周年。他认为安全系统每次向用户索取配合都是在消耗信任,有效安全取决于对信任与上下文的理解,并反思了网络系统如今是否比十年前更安全。
OpenAI 正筹备下一轮内部安全冲刺,将与 Cathedral Systems 合作,用 AI 测试并强化自身防御。
OpenAI 提高安全漏洞赏金金额,并为独立安全研究员新增报告质量、忠诚度和优先活动三类奖金。
OpenAI 发布社区安全报告,并宣布为 ChatGPT 青少年用户增加新的保护措施。ChatGPT 的暴力预防能力得到强化,包括扩展的安全防护、更早的干预机制,以及一项面向公众安全报告的新承诺。
OpenAI 更新 Model Spec,提出五项核心价值观,引导能力更强的 AI 走向稳健判断、尊重人类自主性并忠实于人类意图。
OpenAI 采用分层监控来检测前沿模型失准和智能体的未授权行为,让响应人员能在事件升级前介入。
Google DeepMind 发布 Gemini 4 Carbon,称其在网络安全与长程任务能力上达到 SOTA,在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一。
推荐理由:原文列出 Carbon 在网络安全与长程编码基准上的具体分数和定价,可对照两周前发布的 Argon 看能力推进节奏。
Check Point 借助 OpenAI Daybreak 加速新安全防护背后的研究工作,让分析师更快将漏洞情报转化为客户防护能力。
OpenAI 说明其如何加强前沿模型训练与评估环境的隔离,包括离线环境和需要大量算力的红队测试。原文仅提供摘要,未展开具体技术细节。
OpenAI 与波兰 NASK 建立合作,聚焦 AI 安全、保障与技术研究,以强化防护措施并支持更具韧性的数字生态。
OpenAI 发布前沿 AI 民主治理蓝图的第二部分,聚焦赋能网络防御者。该蓝图提出以前沿 AI 强化防护能力、加强安全保障、推进网络安全现代化,并提升公共机构的韧性。
OpenAI 推出 Patch the Planet,连接安全研究员、开源维护者与事件响应人员,共同应对开源软件中的关键漏洞。该计划让智能体参与漏洞发现,并推动全球范围的响应协调。
Ai2 发布 FairStress,用于衡量 LLM 在招聘、医疗、借贷等决策中的群体公平性,不只比较最终选择,还测试模型面对说服性前缀时改变决定的难易程度。基准包含 29 个领域的 300 个双候选人场景,组合身份呈现方式与对抗前缀后扩展为超过 1300 万个测试用例,另有基于项目反应理论筛选的 5 万条 FairStress-Core 子集。
AWS 与 Keyfactor 联合发布参考架构,用 Keyfactor EJBCA 的 X.509 PKI 为基于 MCP 的 AI 智能体建立可验证、可撤销的加密身份。
AWS AI 服务副总裁 Shawn Bice 提出 Trust in Depth 框架,主张用独立分层的信任机制替代逐个人工审批,让智能体在可验证的范围内自主行动。
推荐理由:AWS 高管把形式化验证引入智能体治理,读者可了解四层信任框架如何界定自主与控制的边界。
Block 正基于 OpenAI 技术构建 AI 驱动的安全体系,其安全团队借此更快调查威胁,并能在数分钟内提出补丁方案。