在 Amazon SageMaker HyperPod 上用 SkyRL 加速多模态 RL 训练
在 Amazon SageMaker HyperPod 上,用开源 RL 框架 SkyRL 对 Qwen3-VL-8B 视觉语言模型做 GRPO 后训练,在固定 64 个迷宫评测集上把解迷宫成功率从 43.75% 提升到 95% 以上。
在 Amazon SageMaker HyperPod 上,用开源 RL 框架 SkyRL 对 Qwen3-VL-8B 视觉语言模型做 GRPO 后训练,在固定 64 个迷宫评测集上把解迷宫成功率从 43.75% 提升到 95% 以上。
Runway 推出 GWM Worlds 2 研究预览,把高保真视频与音频生成变成实时交互式模拟,并引入 WorldPrompt 这一输入格式,可固定环境部分要素(包括首帧)并生成带时间戳的事件序列。
Google Research 发布 AI video co-director 多智能体框架,在 Gemini 和 Veo 之上编排多镜头长视频生成,缓解语义漂移与级联失败。
推荐理由:Google Research 把长视频生成拆成编排、分镜、时序扩展与闭环修正四个模块,读者可了解多智能体如何抑制视觉漂移。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带唇形同步、自然表情和流畅轮次的视觉化对话,已在 Gemini Enterprise 上线。
推荐理由:官方给出 Live Avatar 的实时视频对话能力、97 种语言同步与异步工具调用细节,可据此判断企业级多模态交互的落地形态。
Meta 在 Connect 2026 上把 Muse 个人智能体作为硬件加智能体战略的核心,为其加入语音与实时视频能力,并发布 Ray-Ban Meta Gen 3、售价 1299 美元的 Meta VR Glasses 以及 12 月发货的钥匙扣设备 Muse Charm。
AWS 发布基于 Strands Agents SDK 的智能体架构视频智能方案,由 Amazon Bedrock 驱动,按用户提问在运行时调度 Amazon Rekognition、Amazon Transcribe 和 Amazon Bedrock Data Automation。
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与逐行表演指导,后者面向高并发配音与语音智能体。
推荐理由:官方给出两款 TTS 的定位差异、可用入口与基准排名,便于判断语音生成在配音和播客场景的落地方式。
NVIDIA 于 9 月 22-23 日在新加坡举办 AI Day,联合合作伙伴展示东南亚区域的 AI 落地进展。新加坡 HTX 正基于 Nemotron 3 Super 与 Nemotron 3 Nano Omni 研究公共安全 AI,越南 Viettel AI 微调 Nemotron 3 Super 后在 VMLU 基准与内部产品评测中均排名第一。
Google Research 公布一项研究实验,教师可借助生成式 UI(GenUI)为课程目标生成定制化互动教学模拟,并同步开放 30 多个面向中学与高中 STEM 的英文示例库。
Google DeepMind 与 Google Research 发布 WeatherNext 3,称其为目前最先进、最准确的全球天气模型,按 Brightband 的独立实时评测。
推荐理由:官方给出分辨率、更新频率与降水精度提升的具体数字,可据此判断 AI 天气预报在 Google 产品中的落地程度。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,官方称视频分析 token 消耗最多降低 88%、成本最多降低 66%、准确率最多提升 7%。
推荐理由:官方给出 token 与成本降幅及可用入口,读者可据此判断长视频分析的成本结构变化。
Google DeepMind 发布 Gemini Omni 1.1 Flash,为开发者提供场景延展、首尾帧插值、360p 快速草稿和最高 4K 上采样等生成视频控制能力,通过 Gemini API 在 Google AI Studio 提供。
推荐理由:官方给出场景延展、首尾帧插值与 4K 上采样等具体能力与开放入口,可据此判断生成视频工作流的可控性变化。
Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文本模型,可将原始音频直接转为准确、经过润色和格式化的文本。
推荐理由:官方给出 WER、延迟与多语言等量化指标,并说明开发者与消费端入口,便于判断语音转写能力边界。
Google Research 推出研究原型 AgentHands,让 XR 中的 AI 智能体在说话时同步做出与语音对齐的手势,把抽象指令变成直观的物理演示。
Google Research 提出 PhotoScan,一个可从普通 2D 手机照片估算体脂率、A/G 比值和 V/S 比值的深度学习框架。模型先在 UK Biobank 的 35,323 条记录上预训练,再用 677 名成人的手机照片与 DXA 真值微调,在 132 人的独立队列中体脂率 MAE 为 2.13,优于 BIA 的 2.91。
微软研究院发布 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭性、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前专有与开源模型在静态识别上明显强于交互式规划,且均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用,跨序列仍不可靠。
Google DeepMind 发布多语种手语转文本模型 SL2T,首次把手语 AI 带入消费产品:在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。
推荐理由:SL2T 把多语种手语翻译从实验室带进 Gboard 与 Live Transcribe,读者可了解其数据规模与端侧隐私设计。
Google Research 发布基于 Gemini 和 Project Astra 的 AMIE (Video),可进行实时视频临床问诊,感知非语言线索并引导虚拟体格检查。
推荐理由:读者可了解 AMIE 如何用异步多智能体架构在实时视频问诊中兼顾对话延迟与临床推理,以及随机对照研究的评测设计。
Microsoft Research 发布研究模型 CARE-X,一个统一胸部 X 光视觉语言模型,同时支持报告生成与结构化预测,并用强化学习 DAPO 在多任务设定下奖励临床正确性。
Google DeepMind 发布 Gemini Robotics ER 2,定位为机器人的高层大脑,可对话、理解物理世界并规划多步任务,再把动作执行交给底层 VLA 模型。
推荐理由:官方给出视频理解、任务编排与多机器人协作的能力变化和开放入口,可据此判断机器人在真实环境中的任务完成方式。
Google DeepMind 发布 Gemini Robotics 2,作为新一代机器人的智能层,首次实现对完整人形机器人的全身控制,并提升灵巧操作与多机器人协作能力。
推荐理由:原文给出三款模型的职责分工与本地部署、快速适配新机体的能力,读者可据此判断机器人智能层的当前边界。
Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 和面向网络安全的 3.5 Flash Cyber 三款模型。
推荐理由:官方给出三款 Flash 模型的 token 效率、价格与基准变化,可据此判断智能体工作流的成本走向。
Google DeepMind 与 A24 宣布达成首个此类研究合作,将顶尖研究实验室与电影制作公司配对,帮助艺术家开发新工作流与技术。合作将跨越多个项目,让 A24 及其电影人参与塑造新技术,同时为 Google DeepMind 提供艺术家反馈。Google 还对 A24 进行了投资。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)两款模型。
推荐理由:两款新模型给出延迟、单价与开放入口,读者可据此判断图像与视频生成链路的成本与可用性。
Google Research 公布其皮肤健康 AI 工具的用户理解研究:2345 名参与者使用可滚动展示 3 至 7 个匹配病症的 AI 原型后,尝试命名病症的比例超 62%(对照组 41%),命名准确率 23%,接近对照组 8% 的三倍。
Google DeepMind 发布 Gemini 3.5 Live Translate,一款支持 70+ 语言的近实时语音到语音翻译音频模型,能自动检测语言并保留说话者的语调、节奏和音高。
推荐理由:Google 发布实时语音翻译模型,给出 70+ 语言、连续生成和产品落地路径,可据此判断实时翻译的可用性。
Google DeepMind 发布 Gemma 4 12B,一款面向笔记本本地运行的多模态模型,介于边缘端 E4B 与 26B MoE 之间,采用无编码器统一架构,视觉和音频输入直接进入 LLM 主干。
推荐理由:Gemma 4 12B 用无编码器架构把视觉和音频直接接入 LLM,读者可据此判断本地多模态智能体的硬件门槛。
Google 在 Nature 发表 PHRM 研究系统,利用手机前置摄像头在面部解锁后拍摄 8 秒面部视频,通过深度学习估算心率,与 ECG 真值相比 MAPE < 10%,覆盖所有肤色。
推荐理由:Google 用前置摄像头在解锁后被动测心率,并公开迄今最大规模智能手机视频数据集,可供研究者了解 rPPG 在真实场景与不同肤色下的表现。
Google Research 在 I/O 2026 上公布多项研究进展,包括基于 ERA 和 Co-Scientist 的 Gemini for Science 实验工具套件,以及面向健康场景的 Symptom AI、AMIE 多模态研究。
Google DeepMind 在实验性原型 Project Genie 中上线 Street View 真实影像锚定能力,用户可选取美国地点并搭配风格与角色描述,生成起点绑定真实街景的交互世界。
推荐理由:原文给出 Genie 接入 Street View 真实影像后的世界生成方式与开放范围,读者可据此判断世界模型落地路径。
Google DeepMind 发布 Omni 家族首个模型 Gemini Omni Flash,可组合图像、音频、视频和文本作为输入生成高质量视频,并通过自然语言多轮编辑视频。
推荐理由:Gemini Omni 把多模态输入与对话式视频编辑结合,读者可据此判断视频生成工作流的变化。
Google 宣布扩展内容透明度与验证工具,把 SynthID 的图像、视频和音频验证从 Gemini 应用扩展到搜索,并将在未来几周进入 Chrome。SynthID 已为超过 1000 亿张图片和视频、6 万年音频打上水印,Gemini 中的验证功能已被使用 5000 万次。
推荐理由:Google 把 SynthID 与 C2PA 验证铺到搜索、Gemini 和 Chrome,读者可据此了解内容溯源工具的实际覆盖范围。
Google DeepMind 发布 Gemini 3.5 系列首个模型 3.5 Flash,定位为面向智能体与编码的前沿模型,即日起在 Gemini app、Google Search 的 AI Mode、Google Antigravity、Gemini API、Android Studio 及 Gemini Enterprise 上线。
推荐理由:官方给出 3.5 Flash 在编码与智能体基准上的具体分数和 4 倍输出速度,可据此判断速度与质量能否兼得。
Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。
推荐理由:Google DeepMind 公开 AI co-clinician 研究,给出医生盲评与多模态模拟的对比结果,可了解医疗智能体的能力边界。
Google DeepMind 发布 Gemini 3.1 Flash TTS,称其在可控性、表现力和语音质量上均有提升,在 Artificial Analysis TTS 榜单上取得 1,211 Elo 分数。
推荐理由:官方给出 Elo 1211 与音频标签控制方式,读者可据此判断语音生成在可控性上的进展。
Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人的推理优先模型升级版,重点增强空间推理与多视角理解,并新增仪表读数能力,可解读圆形压力表、液位指示器和数字读数。
推荐理由:官方给出与前代及 Gemini 3.0 Flash 的对比,并首次加入仪表读数能力,可据此判断机器人在巡检场景的落地边界。
Google Research 推出两个学术智能体框架:PaperVizAgent(原 PaperBanana)负责生成论文配图,ScholarPeer 负责自动同行评审。
Google DeepMind 发布 Gemma 4 开源模型家族,包含 E2B、E4B、26B MoE 和 31B Dense 四种尺寸,采用 Apache 2.0 许可。
推荐理由:Gemma 4 以四种尺寸覆盖从手机到工作站的部署,并给出 Arena 排名与 Apache 2.0 许可,便于判断开源模型的可用边界。