跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 1–20 条 · 共 64 条
11月19日周四
  1. Latent Space78

    Google DeepMind 发布 Gemini 4 Neon,七周内第四款 Gemini 4 模型

    Google DeepMind 发布 Gemini 4 Neon,这是约七周内第四款 Gemini 4 模型,定价为每百万 tokens 输入 3 美元、缓存输入 0.15 美元、输出 15 美元,上下文窗口 1M tokens,提供四档 effort 级别。

    推荐理由:汇总 Gemini 4 Neon 的定价、上下文窗口与多项第三方评测结果,可对照同系列前代模型看能力与成本取舍。

  2. The Decoder80

    Google 发布 Gemini 4 Neon,一个月内第四款 Gemini 模型

    Google 发布 Gemini 4 Neon,称其具备前沿级智能,可端到端快速完成复杂软件工程、知识工作和科学工作流任务。该模型即日起通过 API 提供,输入 $3/百万 tokens、输出 $15/百万 tokens,高于 Carbon 和 Argon 的 $2/$10 入门价,也是 Hydrogen $1.50/$7.50 的两倍。

    推荐理由:读者可以据此了解 Gemini 4 Neon 的定价、上下文窗口与多模态能力,以及它在 Gemini 4 系列中的位置。

  3. The Decoder76

    Google DeepMind 发布 Genie 4,Project Genie 更新加入可链式世界与社区画廊

    Google DeepMind 发布世界模型 Genie 4,此前仅以研究预览形式提供,现向 Google AI Ultra 订阅用户开放。Genie 4 支持通过文本实时重塑天气、角色或剧情,并能生成随场景变化的原生实时音效。

    推荐理由:读者可了解 Genie 4 从研究预览走向订阅开放后的能力变化,以及 Genie 3 同步获得的链式世界等更新。

  4. The Decoder80

    微软在 Ignite 发布七款自研 MAI 模型,以更低价格替代外部模型

    微软在 Ignite 上一口气发布七款 MAI 自研模型,覆盖代码、安全、图像、语音、路由与检索,主打性价比。微软称 MAI Code 2 在四项基准上平均达到 GPT-6.1 Sol 性能的 98%,成本为其 40%;对比 Claude Opus 5.5 则达到 96% 的性能、5% 的成本。

    推荐理由:微软一次发布七款自研模型,并给出与 OpenAI、Anthropic 同档模型的性能与价格对照,可据此判断企业智能体的成本结构。

  5. Google DeepMind78

    Google DeepMind 向 AI Ultra 订阅用户开放 Genie 4 与新版 Project Genie

    Google DeepMind 向符合条件的 Google AI Ultra 订阅用户推出新版 Project Genie,首次开放 Genie 4。Genie 4 支持在探索过程中输入新提示词实时修改环境,并首次搭配随场景变化的实时原生音频;Genie 3 同时升级为单次生成最长 3 分钟、支持世界串联和 360 度全景图生成世界。

    推荐理由:Genie 4 支持会话中途改提示词实时编辑世界并加入原生音频,可对照 Genie 3 的延长会话与全景图生成看能力边界。

11月18日周三
  1. NVIDIA Blog60

    NVIDIA RTX Spark 紧凑台式机开售,最高 128GB 统一内存

    NVIDIA 宣布华硕、戴尔和微星的 RTX Spark 紧凑台式机即日开售,搭载 20 核 Grace CPU 与 Blackwell RTX GPU(6,144 个 CUDA 核心),最高 128GB 统一内存、1 petaflop AI 性能,可本地运行 1200 亿参数大模型并支持 24/7 常驻智能体。

    推荐理由:原文列出 RTX Spark 紧凑台式机的硬件规格与本地模型、智能体运行能力,可据此判断本地 AI 工作站的配置取舍。

11月17日周二
11月15日周日
  1. The Decoder88

    美团发布 1.6 万亿参数智能体模型 LongCat-2.5,全程未用 Nvidia GPU

    美团开源 LongCat-2.5 权重,这是一个 1.6 万亿参数的 MoE 智能体模型,每个 token 约激活 480 亿参数,支持文本、图像、视频输入和最高 100 万 token 上下文。

    推荐理由:读者可了解这款 1.6 万亿参数 MoE 智能体模型在编码基准上的位置,以及它完全基于华为昇腾芯片训练和部署的路径。

11月13日周五
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Hydrogen 模型

    Google DeepMind 发布 Gemini 4 Hydrogen,面向日常编码与智能体工作流,并在 Google AI Studio、Gemini API、Gemini app 和 Google Search 等全线开放。

    推荐理由:原文给出 Hydrogen 与 Carbon、Argon 的定位分工及多项基准与定价,读者可据此判断它在多模型工作流中的位置。

11月10日周二
  1. TechCrunch · AI78

    Meta 发布轻量模型 Muse Ember,面向智能体执行

    Meta Superintelligence Lab 发布轻量模型 Muse Ember,主打复杂推理执行和智能体日常重复工作,如工具调用、编码子任务、路由、抽取和长文档解析。

    推荐理由:Meta 公布 Ember 的每百万输入 token 定价与多模态输入能力,可对照同价位轻量模型判断智能体执行成本。

11月6日周五
  1. Latent Space85

    Thinking Machines 发布 Inkling 2 Small:594B 总参数 MoE,68 小时完成预训练

    Thinking Machines 发布 Inkling 2 Small,这是一个 594B 总参数、17B 激活参数的多模态 MoE 模型,已在 Tinker 上线,Apache 2.0 权重承诺下周外部安全测试完成后开放。

    推荐理由:读者可了解 Inkling 2 Small 的 68 小时预训练、NVFP4 全流程与多项独立评测表现,以及权重尚未开放这一前提。

  2. Hugging Face Blog70

    NVIDIA 发布 Cosmos 3 四个开放权重模型,用于交互式世界模拟

    NVIDIA 在 Cosmos 世界模型平台下新增四个 Cosmos 3 开放权重检查点,均为 Cosmos 3 Nano 的后训练版本,含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。

    推荐理由:文章给出四个开放权重检查点的能力分工与四阶段训练配方,读者可据此判断如何适配到自有传感器与机器人本体。

  3. Google DeepMind73

    Google DeepMind 发布 Gemini Omni 1.2 Flash,支持 15 秒视频并降价 30%

    Google DeepMind 发布 Gemini Omni 1.2 Flash,原生支持最长 15 秒视频生成,并可通过多轮对话编辑片段。该模型相比 Omni 1.1 降价 30%,720p 视频定价为每秒 $0.07,同时提升了对人物、产品和风格参考图的一致性。

    推荐理由:原文列出时长、价格与参考一致性的具体变化,读者可据此判断视频生成成本与工作流会如何调整。

10月30日周五
10月28日周三
  1. Hugging Face Blog76

    LiquidAI 发布 LFM3 系列:六个 2B 级多模态模型共享同一骨干

    LiquidAI 发布 LFM3 新一代 Liquid Foundation Models,六个 2B 级模型(文本、视觉、音频、omni 及两个 d1 决策模型)全部从 LFM3-1.7B-Base 分支而来,覆盖文本、图像、视频和音频输入。

    推荐理由:LiquidAI 公布了 LFM3 的架构改动与六个 2B 级模型的实测对比,可据此判断端侧多模态选型。

  2. Google DeepMind87

    Google DeepMind 发布世界模型 Genie 4

    Google DeepMind 发布世界模型 Genie 4,可实时生成带原生音频的可交互模拟世界,支持用自然语言实时修改天气、镜头和人物。Genie 4 首次在实时世界模型中原生生成音频,包括环境音与可随输入变化的角色对话,并借助 Gemini 模型维持模拟的连贯性。

    推荐理由:读者可了解 Genie 4 在实时世界模拟中加入原生音频与人物交互的能力边界,以及它与 Gemini 模型协同完成多步任务的方式。

  3. Ars Technica · AI78

    DeepMind 发布 Genie 4 世界模型,称物理与人物模拟更真实

    Google DeepMind 发布 Genie 4 世界模型,称其在几乎各个方面都改进了 Genie 3,并借助更新后的 Gemini 模型让模拟更真实。该模型无需预先渲染环境或编写交互元素,用户只需描述需求,它便能在探索过程中逐帧实时生成体验。DeepMind 将世界模型视为通往 AGI 的关键要素,认为它可用于为物理机器人构建训练环境,或加速创意领域的原型设计。

    推荐理由:文章交代了 Genie 4 相对 Genie 3 的改进方向,以及世界模型被定位为通往 AGI 的关键环节。

10月24日周六