跳到正文

#多模态

今日 0 条
11月19日周四
  1. Google DeepMind78

    Google DeepMind 向 AI Ultra 订阅用户开放 Genie 4 与新版 Project Genie

    Google DeepMind 向符合条件的 Google AI Ultra 订阅用户推出新版 Project Genie,首次开放 Genie 4。Genie 4 支持在探索过程中输入新提示词实时修改环境,并首次搭配随场景变化的实时原生音频;Genie 3 同时升级为单次生成最长 3 分钟、支持世界串联和 360 度全景图生成世界。

    推荐理由:Genie 4 支持会话中途改提示词实时编辑世界并加入原生音频,可对照 Genie 3 的延长会话与全景图生成看能力边界。

11月18日周三
  1. NVIDIA Blog60

    NVIDIA RTX Spark 紧凑台式机开售,最高 128GB 统一内存

    NVIDIA 宣布华硕、戴尔和微星的 RTX Spark 紧凑台式机即日开售,搭载 20 核 Grace CPU 与 Blackwell RTX GPU(6,144 个 CUDA 核心),最高 128GB 统一内存、1 petaflop AI 性能,可本地运行 1200 亿参数大模型并支持 24/7 常驻智能体。

    推荐理由:原文列出 RTX Spark 紧凑台式机的硬件规格与本地模型、智能体运行能力,可据此判断本地 AI 工作站的配置取舍。

11月13日周五
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Hydrogen 模型

    Google DeepMind 发布 Gemini 4 Hydrogen,面向日常编码与智能体工作流,并在 Google AI Studio、Gemini API、Gemini app 和 Google Search 等全线开放。

    推荐理由:原文给出 Hydrogen 与 Carbon、Argon 的定位分工及多项基准与定价,读者可据此判断它在多模型工作流中的位置。

11月11日周三
11月10日周二
11月6日周五
  1. Hugging Face Blog70

    NVIDIA 发布 Cosmos 3 四个开放权重模型,用于交互式世界模拟

    NVIDIA 在 Cosmos 世界模型平台下新增四个 Cosmos 3 开放权重检查点,均为 Cosmos 3 Nano 的后训练版本,含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。

    推荐理由:文章给出四个开放权重检查点的能力分工与四阶段训练配方,读者可据此判断如何适配到自有传感器与机器人本体。

  2. Google DeepMind73

    Google DeepMind 发布 Gemini Omni 1.2 Flash,支持 15 秒视频并降价 30%

    Google DeepMind 发布 Gemini Omni 1.2 Flash,原生支持最长 15 秒视频生成,并可通过多轮对话编辑片段。该模型相比 Omni 1.1 降价 30%,720p 视频定价为每秒 $0.07,同时提升了对人物、产品和风格参考图的一致性。

    推荐理由:原文列出时长、价格与参考一致性的具体变化,读者可据此判断视频生成成本与工作流会如何调整。

11月5日周四
11月4日周三
11月3日周二
10月31日周六
10月30日周五
10月28日周三
  1. Hugging Face Blog76

    LiquidAI 发布 LFM3 系列:六个 2B 级多模态模型共享同一骨干

    LiquidAI 发布 LFM3 新一代 Liquid Foundation Models,六个 2B 级模型(文本、视觉、音频、omni 及两个 d1 决策模型)全部从 LFM3-1.7B-Base 分支而来,覆盖文本、图像、视频和音频输入。

    推荐理由:LiquidAI 公布了 LFM3 的架构改动与六个 2B 级模型的实测对比,可据此判断端侧多模态选型。

  2. AWS Machine Learning Blog40

    Property Finder 如何修正评估偏差,在 Amazon Bedrock 上选出更优模型

    Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在对比中天然处于劣势。团队重新人工标注 356 张 UAE 图像,将单标签改为多标签分类,并通过 v0 到 v27 的提示词优化循环在 Amazon Bedrock 上选型,最终实现准确率提升且成本降低 86%。

  3. Google DeepMind87

    Google DeepMind 发布世界模型 Genie 4

    Google DeepMind 发布世界模型 Genie 4,可实时生成带原生音频的可交互模拟世界,支持用自然语言实时修改天气、镜头和人物。Genie 4 首次在实时世界模型中原生生成音频,包括环境音与可随输入变化的角色对话,并借助 Gemini 模型维持模拟的连贯性。

    推荐理由:读者可了解 Genie 4 在实时世界模拟中加入原生音频与人物交互的能力边界,以及它与 Gemini 模型协同完成多步任务的方式。

10月24日周六
10月23日周五
10月22日周四
  1. Google Research60

    Google Research 用 AI 盲扫超声评估孕周,误差与专家相当

    Google Research 在 JAMA Network Open 发表前瞻性多中心研究,其盲扫超声 AI 模型在芝加哥(n=192)和内罗毕(n=193)的孕周评估平均绝对误差为 4.18 天,与专家超声医师的 4.48 天相比达到非劣效。

    推荐理由:研究给出跨芝加哥与内罗毕的前瞻性验证数据,可了解盲扫超声 AI 在低资源场景替代专家测量的实际误差水平。

10月20日周二
  1. AWS Machine Learning Blog33

    Amazon SageMaker JumpStart 2026 年回顾:新增 100+ 模型、覆盖 30 家提供商

    Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月新增超过 100 个模型,来自 30 家不同提供商。其中 Alibaba(Qwen)贡献 29 个模型,NVIDIA 贡献 17 个,包括 Cosmos3 世界基础模型系列与 Nemotron-3-Super-120B。新增模型重点覆盖多模态、量化与紧凑模型,以及图像视频生成能力。

10月16日周五
  1. Hugging Face Blog88

    Meta 开源 Muse Spark Open:816B 多模态 MoE 模型

    Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M tokens。

    推荐理由:Meta 开源 816B 多模态 MoE 模型,文中给出各推理框架的部署命令与微调配置,可据此评估本地运行门槛。

  2. Hugging Face Blog62

    瑞士 Apertus 1.5 发布:8B 与 70B 模型新增图像音频理解与思考模式

    Apertus 1.5 在 8B 和 70B 两个规模上扩展了 Apertus 1.0,新增图像与音频理解、可选思考模式、4 倍长的上下文窗口、更强的指令遵循和工具调用能力,权重以 Apache 2.0 许可发布于 Hugging Face。

    推荐理由:Apertus 1.5 的发布说明完整披露了多模态早融合、训练阶段与评测口径,可据此判断开源多模态模型的工程取舍。

10月15日周四
10月14日周三
  1. Google DeepMind92

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业、科研人员和消费者开放,通过 AI Studio 与 Gemini API 提供,Google AI Ultra 订阅者可在 Antigravity 中使用。

    推荐理由:官方给出 Argon 在编码、科研与安全对齐上的具体案例和定价,可据此判断前沿模型在长程任务中的落地程度。

  2. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Argon 机器人模型

    Google DeepMind 发布 Gemini 4 Argon,主打物理理解、代码生成与视觉语义推理,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。

    推荐理由:官方给出 Argon 在 ERQA 上的得分与四类机器人工作流示例,可据此判断物理推理模型在机器人栈中的落点。

10月8日周四
10月7日周三
10月6日周二
  1. Mistral AI88

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数多模态模型

    Mistral 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、520 亿激活参数的原生多模态模型,权重将于本月底开放。官方称其在网络安全、金融、法律等企业场景中达到开源模型领先水平,在视觉 grounding 的 Dense 200 上以 42% 超过 GPT-6-Astra 的 41%。

    推荐理由:Mistral 公布 1 万亿参数多模态模型的公开预览与权重开源计划,可对照其编码、网络安全与智能体基准表现。

9月30日周三
  1. Microsoft Research66

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与研究者的交互式 harness 两部分组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,湿实验中排名最高的化合物产生了最大的 classical 到 basal 细胞状态转变,整个过程仅用一个周末完成。

    推荐理由:微软研究院公开 Quine 的生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

9月29日周二
  1. Microsoft Research20

    微软研究院亚洲新加坡分院成立一年:推进前沿 AI 研究、合作与人才培养

    微软研究院亚洲新加坡分院(MSRA – Singapore)作为微软在东南亚的首个研究实验室,成立一年来围绕下一代 AI 模型与智能体系统、领域专用 AI、AI 原生研究实践、生态与人才培养四大方向展开工作。该实验室与新加坡医疗、金融、教育等领域伙伴合作,推进多模态医疗 AI 与自进化诊断智能体等研究落地,并获新加坡经济发展局支持联合培养博士。