跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 21–40 条 · 共 64 条
10月22日周四
  1. Google Research60

    Google Research 用 AI 盲扫超声评估孕周,误差与专家相当

    Google Research 在 JAMA Network Open 发表前瞻性多中心研究,其盲扫超声 AI 模型在芝加哥(n=192)和内罗毕(n=193)的孕周评估平均绝对误差为 4.18 天,与专家超声医师的 4.48 天相比达到非劣效。

    推荐理由:研究给出跨芝加哥与内罗毕的前瞻性验证数据,可了解盲扫超声 AI 在低资源场景替代专家测量的实际误差水平。

10月16日周五
  1. Hugging Face Blog88

    Meta 开源 Muse Spark Open:816B 多模态 MoE 模型

    Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M tokens。

    推荐理由:Meta 开源 816B 多模态 MoE 模型,文中给出各推理框架的部署命令与微调配置,可据此评估本地运行门槛。

  2. The Verge · AI80

    Meta 与 Apple 合作让 Muse Spark Open 模型在 Mac 上更好运行

    Meta 发布 Muse Spark Open 模型,称其是迄今能力最强的美国开源权重模型,也是同类中首个能在桌面端运行、需两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio 的模型。

    推荐理由:Meta 与 Apple 罕见联手,让 816B 参数开源模型能在两台 Mac Studio 上本地运行,可观察端侧大模型的部署边界。

  3. The Decoder82

    Meta 发布 Muse Spark Open 开源权重模型,对标 Qwen、GLM 与 Kimi

    Meta 发布开源权重模型 Muse Spark Open,称其为美国最强开源权重模型,面向编码与智能体任务,拥有 8160 亿参数(激活 420 亿)、最高 100 万 token 上下文,支持文本、图像、视频和音频。

    推荐理由:Meta 重返开源权重赛道,读者可了解其参数规模、多模态能力与商用许可限制。

  4. Hugging Face Blog62

    瑞士 Apertus 1.5 发布:8B 与 70B 模型新增图像音频理解与思考模式

    Apertus 1.5 在 8B 和 70B 两个规模上扩展了 Apertus 1.0,新增图像与音频理解、可选思考模式、4 倍长的上下文窗口、更强的指令遵循和工具调用能力,权重以 Apache 2.0 许可发布于 Hugging Face。

    推荐理由:Apertus 1.5 的发布说明完整披露了多模态早融合、训练阶段与评测口径,可据此判断开源多模态模型的工程取舍。

  5. The Decoder78

    Google 发布 Gemini 4 Argon,瞄准机器人全流程单一模型

    Google 发布面向机器人任务的 Gemini 4 Argon,宣称用同一模型完成机器人控制、虚拟仿真环境构建与训练视频评估。演示中它让 Boston Dynamics Spot 在 MuJoCo 仿真中练习后完成踩踏板投罐任务,并从单张照片生成 77 项任务、4500 多个训练回合,使真机成功率从 56% 升至 75%、执行时间从 35 秒降至 24 秒。

    推荐理由:通过多个机器人演示与提示词细节,读者可判断单一模型覆盖仿真、控制与评估的实际边界。

10月15日周四
10月14日周三
  1. Google DeepMind92

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业、科研人员和消费者开放,通过 AI Studio 与 Gemini API 提供,Google AI Ultra 订阅者可在 Antigravity 中使用。

    推荐理由:官方给出 Argon 在编码、科研与安全对齐上的具体案例和定价,可据此判断前沿模型在长程任务中的落地程度。

  2. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Argon 机器人模型

    Google DeepMind 发布 Gemini 4 Argon,主打物理理解、代码生成与视觉语义推理,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。

    推荐理由:官方给出 Argon 在 ERQA 上的得分与四类机器人工作流示例,可据此判断物理推理模型在机器人栈中的落点。

10月8日周四
  1. The Decoder84

    OpenAI 为 ChatGPT 推出 GPT-6 与 Intelligent UI 交互界面

    OpenAI 面向所有 ChatGPT 用户推出 GPT-6,并带来名为 Intelligent UI 的新功能,回答不再以纯文本呈现,而是自动适配问题生成图形、按钮、图表和表单,用户还能在对话内构建储蓄计算器、小游戏等小工具。

    推荐理由:OpenAI 把 ChatGPT 输出从纯文本改为交互界面,读者可了解具体形态与分阶段开放节奏。

  2. TechCrunch · AI82

    OpenAI 随 GPT-6 推出 Intelligent UI,ChatGPT 转向可视化交互界面

    OpenAI 推出名为 Intelligent UI 的新界面,随新 GPT-6 模型于周三开始推送,在对话中大量加入可交互的可视化元素,如可点击按钮、定制计算器、交互式图表和可编辑图形。

    推荐理由:OpenAI 随 GPT-6 推出 Intelligent UI,读者可了解 ChatGPT 从纯文本转向可交互可视化界面的具体形态与开放节奏。

10月7日周三
10月6日周二
  1. Mistral AI88

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数多模态模型

    Mistral 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、520 亿激活参数的原生多模态模型,权重将于本月底开放。官方称其在网络安全、金融、法律等企业场景中达到开源模型领先水平,在视觉 grounding 的 Dense 200 上以 42% 超过 GPT-6-Astra 的 41%。

    推荐理由:Mistral 公布 1 万亿参数多模态模型的公开预览与权重开源计划,可对照其编码、网络安全与智能体基准表现。

9月30日周三
  1. The Decoder80

    AMD 以 82 亿美元收购世界模型初创公司 World Labs

    AMD 宣布以约 82 亿美元全股票交易收购专注空间智能的初创公司 World Labs,交易预计在 2026 年底前完成,尚待监管批准。World Labs 创始人李飞飞将加入 AMD 领导团队,出任执行副总裁兼首席科学家,直接向 CEO 苏姿丰汇报并负责前沿研究。

    推荐理由:这笔全股票收购把世界模型团队并入芯片厂商,读者可据此观察硬件与模型能力整合的新路径。

  2. Microsoft Research66

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与研究者的交互式 harness 两部分组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,湿实验中排名最高的化合物产生了最大的 classical 到 basal 细胞状态转变,整个过程仅用一个周末完成。

    推荐理由:微软研究院公开 Quine 的生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

9月29日周二
  1. Latent Space76

    AMD 以 82 亿美元收购 World Labs,Atlas 模型解决稀疏重建难题

    AMD 以 82 亿美元收购 World Labs。World Labs 创始人李飞飞在博客中回顾,公司自 2024 年成立以来构建了图像、视频与空间重建的模型训练团队,并在收购 SceniX 后推进机器人仿真能力。

    推荐理由:AMD 以 82 亿美元收购 World Labs,读者可借此了解空间智能与机器人仿真方向的整合动向。

  2. Latent Space78

    Opus 5.5 发布:擅长代码生成讲解视频,SimpleBench 达 88.4%

    Anthropic 本周发布 Claude Opus 5.5,在 SimpleBench 上以 88.4% 领先,并被社区认为擅长用代码生成讲解视频。在 Terminal-Bench-Science 上,Opus 5.5 从低推理档的 24% 升至 xhigh 档的 62%,max 档反而回落到 59%,有用户建议避开 max 档。

    推荐理由:汇总 Opus 5.5 与 GPT-6 系列在基准、成本与社区口碑上的对比,可快速判断前沿模型格局变化。