跳到正文

#多模态

今日 0 条
11月5日周四
11月4日周三
11月3日周二
  1. TechCrunch · AI40

    Google 将 AI 应用 Dreambeans 推向印度,支持 13 种本地语言

    Google 将实验性 AI 应用 Dreambeans 扩展至印度,这是其首个美国以外市场,支持包括印地语、旁遮普语、泰米尔语在内的 13 种本地语言。该应用接入 Calendar、Gemini、Gmail、Photos、Search 和 YouTube 等 Google 服务,无需提示词即可主动生成个性化图文故事,近期还加入 Veo 模型为部分故事生成动画。

11月1日周日
10月31日周六
10月30日周五
10月29日周四
10月28日周三
  1. Hugging Face Blog76

    LiquidAI 发布 LFM3 系列:六个 2B 级多模态模型共享同一骨干

    LiquidAI 发布 LFM3 新一代 Liquid Foundation Models,六个 2B 级模型(文本、视觉、音频、omni 及两个 d1 决策模型)全部从 LFM3-1.7B-Base 分支而来,覆盖文本、图像、视频和音频输入。

    推荐理由:LiquidAI 公布了 LFM3 的架构改动与六个 2B 级模型的实测对比,可据此判断端侧多模态选型。

  2. AWS Machine Learning Blog40

    Property Finder 如何修正评估偏差,在 Amazon Bedrock 上选出更优模型

    Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在对比中天然处于劣势。团队重新人工标注 356 张 UAE 图像,将单标签改为多标签分类,并通过 v0 到 v27 的提示词优化循环在 Amazon Bedrock 上选型,最终实现准确率提升且成本降低 86%。

  3. Google DeepMind87

    Google DeepMind 发布世界模型 Genie 4

    Google DeepMind 发布世界模型 Genie 4,可实时生成带原生音频的可交互模拟世界,支持用自然语言实时修改天气、镜头和人物。Genie 4 首次在实时世界模型中原生生成音频,包括环境音与可随输入变化的角色对话,并借助 Gemini 模型维持模拟的连贯性。

    推荐理由:读者可了解 Genie 4 在实时世界模拟中加入原生音频与人物交互的能力边界,以及它与 Gemini 模型协同完成多步任务的方式。

  4. The Decoder72

    Google DeepMind 发布 Genie 4 实时世界模型

    Google DeepMind 推出 Genie 4,这是 Genie 3 的后续版本,可逐帧计算场景并响应用户输入,用户用键盘移动、用文本提示词驱动事件。DeepMind 称这是其首个直接生成声音的实时世界模型,每个世界带有自己的背景音,角色之间能对话并实时反应。

  5. Ars Technica · AI78

    DeepMind 发布 Genie 4 世界模型,称物理与人物模拟更真实

    Google DeepMind 发布 Genie 4 世界模型,称其在几乎各个方面都改进了 Genie 3,并借助更新后的 Gemini 模型让模拟更真实。该模型无需预先渲染环境或编写交互元素,用户只需描述需求,它便能在探索过程中逐帧实时生成体验。DeepMind 将世界模型视为通往 AGI 的关键要素,认为它可用于为物理机器人构建训练环境,或加速创意领域的原型设计。

    推荐理由:文章交代了 Genie 4 相对 Genie 3 的改进方向,以及世界模型被定位为通往 AGI 的关键环节。

10月27日周二
10月24日周六
10月23日周五
10月22日周四
  1. Google Research60

    Google Research 用 AI 盲扫超声评估孕周,误差与专家相当

    Google Research 在 JAMA Network Open 发表前瞻性多中心研究,其盲扫超声 AI 模型在芝加哥(n=192)和内罗毕(n=193)的孕周评估平均绝对误差为 4.18 天,与专家超声医师的 4.48 天相比达到非劣效。

    推荐理由:研究给出跨芝加哥与内罗毕的前瞻性验证数据,可了解盲扫超声 AI 在低资源场景替代专家测量的实际误差水平。

10月20日周二
  1. AWS Machine Learning Blog33

    Amazon SageMaker JumpStart 2026 年回顾:新增 100+ 模型、覆盖 30 家提供商

    Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月新增超过 100 个模型,来自 30 家不同提供商。其中 Alibaba(Qwen)贡献 29 个模型,NVIDIA 贡献 17 个,包括 Cosmos3 世界基础模型系列与 Nemotron-3-Super-120B。新增模型重点覆盖多模态、量化与紧凑模型,以及图像视频生成能力。

10月17日周六
  1. TechCrunch · AI60

    Elorian 发布首个模型 Glimpse,以视觉草稿空间做图像推理

    Elorian 发布首个模型 Glimpse,以研究预览形式开放 API,聊天界面需排队。Glimpse 在推理过程中可裁剪图像区域、抽取视频帧或运行代码来测量和比较所见内容,Elorian 称这一机制为视觉草稿空间。定价为每百万 token 输入 0.60 美元、输出 3 美元,Elorian 的评测称其在科学图表推理和短视频描述上超过 GPT-6 Astra。

10月16日周五
  1. Hugging Face Blog88

    Meta 开源 Muse Spark Open:816B 多模态 MoE 模型

    Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M tokens。

    推荐理由:Meta 开源 816B 多模态 MoE 模型,文中给出各推理框架的部署命令与微调配置,可据此评估本地运行门槛。

  2. The Verge · AI80

    Meta 与 Apple 合作让 Muse Spark Open 模型在 Mac 上更好运行

    Meta 发布 Muse Spark Open 模型,称其是迄今能力最强的美国开源权重模型,也是同类中首个能在桌面端运行、需两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio 的模型。

    推荐理由:Meta 与 Apple 罕见联手,让 816B 参数开源模型能在两台 Mac Studio 上本地运行,可观察端侧大模型的部署边界。

  3. The Decoder82

    Meta 发布 Muse Spark Open 开源权重模型,对标 Qwen、GLM 与 Kimi

    Meta 发布开源权重模型 Muse Spark Open,称其为美国最强开源权重模型,面向编码与智能体任务,拥有 8160 亿参数(激活 420 亿)、最高 100 万 token 上下文,支持文本、图像、视频和音频。

    推荐理由:Meta 重返开源权重赛道,读者可了解其参数规模、多模态能力与商用许可限制。

  4. Hugging Face Blog62

    瑞士 Apertus 1.5 发布:8B 与 70B 模型新增图像音频理解与思考模式

    Apertus 1.5 在 8B 和 70B 两个规模上扩展了 Apertus 1.0,新增图像与音频理解、可选思考模式、4 倍长的上下文窗口、更强的指令遵循和工具调用能力,权重以 Apache 2.0 许可发布于 Hugging Face。

    推荐理由:Apertus 1.5 的发布说明完整披露了多模态早融合、训练阶段与评测口径,可据此判断开源多模态模型的工程取舍。

  5. The Decoder78

    Google 发布 Gemini 4 Argon,瞄准机器人全流程单一模型

    Google 发布面向机器人任务的 Gemini 4 Argon,宣称用同一模型完成机器人控制、虚拟仿真环境构建与训练视频评估。演示中它让 Boston Dynamics Spot 在 MuJoCo 仿真中练习后完成踩踏板投罐任务,并从单张照片生成 77 项任务、4500 多个训练回合,使真机成功率从 56% 升至 75%、执行时间从 35 秒降至 24 秒。

    推荐理由:通过多个机器人演示与提示词细节,读者可判断单一模型覆盖仿真、控制与评估的实际边界。

10月15日周四