跳到正文

语音与音频

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

16条精选相关主题多模态AI 视频产品更新

最新精选

第 1–16 条 · 共 16 条
11月19日周四
  1. The Decoder80

    微软在 Ignite 发布七款自研 MAI 模型,以更低价格替代外部模型

    微软在 Ignite 上一口气发布七款 MAI 自研模型,覆盖代码、安全、图像、语音、路由与检索,主打性价比。微软称 MAI Code 2 在四项基准上平均达到 GPT-6.1 Sol 性能的 98%,成本为其 40%;对比 Claude Opus 5.5 则达到 96% 的性能、5% 的成本。

    推荐理由:微软一次发布七款自研模型,并给出与 OpenAI、Anthropic 同档模型的性能与价格对照,可据此判断企业智能体的成本结构。

11月6日周五
10月29日周四
  1. Hugging Face Blog71

    NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2 数据管线

    NVIDIA 发布开放权重模型 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答整合进同一个 checkpoint,支持 40 种语言转写、31 种语言与英语互译、13 种语言的说话人标注,可处理最长 1 小时录音并标注最多 8 位说话人。

    推荐理由:原文给出多语言转写、说话人分离与翻译的统一模型,并附开放数据管线和微调配方,可据此判断落地方式。

10月28日周三
  1. The Decoder78

    Nvidia 发布开源语音模型 Nemotron 3.5 Transcribe,整合转写、翻译与说话人识别

    Nvidia 发布开源语音识别模型 Nemotron 3.5 Transcribe,可用文本指令在单一模型中完成转写、翻译和说话人识别,并支持就录音内容提问。该模型支持 40 种语言转写、31 种语言与英语互译、13 种语言的说话人识别,可处理最长 1 小时、最多 8 名说话人的录音;模型总参数 30B、每步约 4B 激活,可在单张 Nvidia GPU 上运行。

    推荐理由:读者可了解这款开源语音模型在转写、翻译与说话人识别上的能力边界,以及配套数据集和微调流程。

  2. Google DeepMind87

    Google DeepMind 发布世界模型 Genie 4

    Google DeepMind 发布世界模型 Genie 4,可实时生成带原生音频的可交互模拟世界,支持用自然语言实时修改天气、镜头和人物。Genie 4 首次在实时世界模型中原生生成音频,包括环境音与可随输入变化的角色对话,并借助 Gemini 模型维持模拟的连贯性。

    推荐理由:读者可了解 Genie 4 在实时世界模拟中加入原生音频与人物交互的能力边界,以及它与 Gemini 模型协同完成多步任务的方式。

10月21日周三
10月16日周五
9月25日周五
  1. Google DeepMind67

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带唇形同步、自然表情和流畅轮次的视觉化对话,已在 Gemini Enterprise 上线。

    推荐理由:官方给出 Live Avatar 的实时视频对话能力、97 种语言同步与异步工具调用细节,可据此判断企业级多模态交互的落地形态。

9月23日周三
9月16日周三
9月10日周四
  1. OpenAI News65

    OpenAI 在 API 中推出 GPT-Live-1 语音模型

    OpenAI 在 API 中推出 GPT-Live-1,支持自然的全双工语音对话。该模型具备更强的指令遵循能力,支持自定义音色和电话(telephony)接入。

    推荐理由:OpenAI 把全双工语音对话能力开放到 API,开发者可据此判断语音应用的接入方式与能力边界。

8月27日周四
8月12日周三
6月9日周二
4月30日周四
4月16日周四