Stretto 如何用 Amazon Nova 2 Sonic 构建 AI 语音智能体 Tara
Stretto 基于 Amazon Bedrock 上的语音到语音模型 Amazon Nova 2 Sonic 构建了 AI 语音智能体 Tara,通过电话完成破产申请的多阶段信息采集,并按律师设定的规则将线索分为合格、不合格或需补充信息。
Stretto 基于 Amazon Bedrock 上的语音到语音模型 Amazon Nova 2 Sonic 构建了 AI 语音智能体 Tara,通过电话完成破产申请的多阶段信息采集,并按律师设定的规则将线索分为合格、不合格或需补充信息。
AssemblyAI 在 AWS 上以 Amazon ECS 搭配 EC2 Spot 与 On-Demand 混合的容量提供者运行语音转文字推理,单 GPU 跑一个模型、规模达数千实例。
Amazon SageMaker AI 双向流式推理新增按用量计费,模型提供商可向 AWS Marketplace 上报实时流中的实际用量。Deepgram 作为首发合作伙伴,将按用量计费的语音转文字(STT)和文字转语音(TTS)账单带入 AWS Marketplace。该能力通过一条伴随 WebSocket 元数据连接上报计量记录,SageMaker AI 端点基础设施费用仍单独收取。
Hugging Face 的 Open ASR Leaderboard 与 Liva AI 合作,新增埃及和尼日利亚两种英语口音的私有评测数据,时长分别为 1.34 小时和 1.55 小时,均为带标点、大小写和不流畅标记的对话式自发语音。榜单私有标签页现按 Kachru 三圈模型细分口音,区分美国与非美国、内圈与外圈及扩展圈。
gradium 团队发布端侧文本转语音模型 Phonon,两个版本约 65 MB 和 75 MB,覆盖英语、法语、德语、西班牙语和葡萄牙语,无需服务器和网络即可运行。
推荐理由:原文交代了 Phonon 的端侧运行方式、开源许可和榜单表现,读者可据此判断小模型语音合成的可用边界。
Cartesia 基于自研 State Space Model(SSM)架构的 Sonic 文本转语音与 Ink 语音转文字模型,在 AWS 上实现低于 100ms 的首字节延迟。Sonic 首音频字节约 90ms,支持 44 种以上语言、10 秒音频样本克隆音色;Ink 原生支持对话轮次检测与流式转写。两者面向实时语音智能体,可在 AWS 上部署以满足数据主权与合规需求。
NVIDIA 员工用 Nemotron Voice Agent 搭建了万圣节互动装置 MonsterHouse,让车库门以暴躁老海盗船的嗓音与讨糖孩子对话。
IBM 发布 Granite Switch 4.1.1 补丁版本,与 4.1 完全向后兼容、无需迁移。此次更新包含支持 10 种语言、带原生标点与大小写的 Granite Speech ASR 模型,以及 granitelib-core 中在 Jev Decision Index 测试集上性能提升的 Decision adapter。
作者发布 AnySpeechRecognizer 和 AnyDecisionModel 两个 Swift 包,可在 Apple 平台本地运行开源语音识别与决策模型。
NVIDIA 发布开放权重模型 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答整合进同一个 checkpoint,支持 40 种语言转写、31 种语言与英语互译、13 种语言的说话人标注,可处理最长 1 小时录音并标注最多 8 位说话人。
推荐理由:原文给出多语言转写、说话人分离与翻译的统一模型,并附开放数据管线和微调配方,可据此判断落地方式。
NVIDIA RTX Spark 轻薄笔记本已在 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 开售,起售价 $2,599,搭载 Blackwell RTX GPU 与 Grace CPU 超级芯片,最高 128GB 统一内存和 1 petaflop FP4 AI 性能。
Retell 使用 OpenAI 模型支撑每月 1 亿次通话,GPT-6 Astra 在其语音智能体基准测试中排名第一。Codex 还帮助 Retell 实现每位员工 160 万美元的年化营收。
Google DeepMind 发布世界模型 Genie 4,可实时生成带原生音频的可交互模拟世界,支持用自然语言实时修改天气、镜头和人物。Genie 4 首次在实时世界模型中原生生成音频,包括环境音与可随输入变化的角色对话,并借助 Gemini 模型维持模拟的连贯性。
推荐理由:读者可了解 Genie 4 在实时世界模拟中加入原生音频与人物交互的能力边界,以及它与 Gemini 模型协同完成多步任务的方式。
Anima 利用 GPT-6 和 GPT-Live 将诊所电话等待时间降低 75%,并扩展了护理团队使用 OpenAI 模型的能力。该方案让护理团队有更多余力响应患者。
在 Amazon SageMaker AI 的实时端点上托管 Kokoro-82M 语音合成模型,把 AI 智能体生成的每个句子即时送入合成,让音频在完整回复生成前就开始播放。
Amazon Polly Generative 引擎完成升级并正式可用,语音更自然准确、延迟更低,新增 14 种语音覆盖 9 个 locale,印地语和芬兰语首次在生成式引擎上正式可用。
针对自托管 TTS 端点自动扩缩容目标值靠猜的问题,AWS 在 Amazon SageMaker AI 实时端点上部署 82M 参数的 Kokoro-82M 自定义容器,用实测的 Q_max(单实例在 SLO 内可承受的最高并发)和 T_total(一次扩容端到端耗时)推算扩容阈值、缩容阈值与两个冷却时间。
IBM 发布 Granite Speech 5.0 系列三项更新:新模型 granite-speech-5.0-2b 支持英法德西葡日六种语言转写及与英语互译。
Mistral 发布 Voxtral 3,包含语音转写与语音合成模型以及基于 LiveKit 的语音智能体 SDK,把听、推理、工具调用和说话串成一条实时流式管线。
推荐理由:原文给出语音智能体 SDK 与转写、TTS 模型的完整能力与定价,可据此评估实时语音工作流的落地成本。
Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 Trainium2,用于联络中心分析、医疗转录等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,每美元处理的音频量比原有算力方案高 11%–70%。优化涵盖 TorchNeuron 编译、NKILib 融合内核替换及 Rust 数据并行运行时。
IBM 发布 Granite Switch 4.1,提供 8B 和 30B 两个版本,把对话、通用与专用决策、语音转写整合进一个托管端点。
推荐理由:原文说明了多个适配器如何共享同一基座与 KV cache,读者可据此判断单端点多任务的部署成本。
Higgsfield 将 AI 视频生成时长从 1 分钟提升到 10 分钟以上,背后使用 GPT-6 Astra。同时它用 GPT-Image-2.5 提升画面精度,并借助 GPT-Live 探索语音电影制作路径。
阿布扎比技术创新研究院(TII)发布 Falcon-ASR,一款 1.6B 参数的语音识别模型,重点覆盖阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。在六个阿拉伯语测试集上平均 WER 为 20.92%,优于所用榜单快照中最佳公开结果 23.17%;内部阿联酋方言评测 WER 22.73%、CER 10.19%,比次优的 Qwen3-Omni 低 4.07 个百分点。
基于 Amazon Bedrock AgentCore、Amazon Nova 2.5 Sonic 和 Amazon Bedrock Knowledge Bases,可在航空公司应用中搭建语音旅行助手,让旅客通过语音查询行程、改座位、更新餐食偏好并转接人工客服。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
AWS 发布教程,演示如何用 vLLM-Omni DLC 在 Amazon SageMaker AI 上部署 Qwen3-TTS,通过 SageMaker 双向流式连接实现文本流入、24 kHz PCM 音频分块流出,并配套 Gradio 应用。
阿里云 Qwen 团队开源的 Qwen3-TTS-12Hz-1.7B-Base 已上线 Amazon SageMaker JumpStart,可部署到全托管实时推理端点,仅凭几秒参考音频和对应文本即可克隆音色,无需重新训练。该模型覆盖中文、英文、日文等 10 种语言,支持跨语言克隆与流式生成,输出 24 kHz 音频,同系列还有 CustomVoice 和 Qwen3-ASR-1.7B 可选。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带唇形同步、自然表情和流畅轮次的视觉化对话,已在 Gemini Enterprise 上线。
推荐理由:官方给出 Live Avatar 的实时视频对话能力、97 种语言同步与异步工具调用细节,可据此判断企业级多模态交互的落地形态。
AWS 发布 WhisperX Deep Learning Container,在 OpenAI Whisper 基础上加入批处理推理、wav2vec2 强制对齐的逐词时间戳和说话人分离,可部署到 Amazon SageMaker AI 实时或异步端点,无需自建镜像。
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与逐行表演指导,后者面向高并发配音与语音智能体。
推荐理由:官方给出两款 TTS 的定位差异、可用入口与基准排名,便于判断语音生成在配音和播客场景的落地方式。
Ringg 基于 GPT-5.6 打造的 AI 智能体可解决高达 65% 的客服来电,覆盖语音、聊天、WhatsApp 和网页等多语言场景,成本相比 GPT-4.1 降低 90%。
Google DeepMind 发布两款实时对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,前者面向规模化与成本效率,后者面向高复杂度任务和多步推理。
推荐理由:官方给出两款语音模型的基准成绩与开放渠道,可据此判断实时语音智能体的落地成熟度。
OpenAI 在 API 中推出 GPT-Live-1,支持自然的全双工语音对话。该模型具备更强的指令遵循能力,支持自定义音色和电话(telephony)接入。
推荐理由:OpenAI 把全双工语音对话能力开放到 API,开发者可据此判断语音应用的接入方式与能力边界。
Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文本模型,可将原始音频直接转为准确、经过润色和格式化的文本。
推荐理由:官方给出 WER、延迟与多语言等量化指标,并说明开发者与消费端入口,便于判断语音转写能力边界。
Google Research 发布基于 Gemini 和 Project Astra 的 AMIE (Video),可进行实时视频临床问诊,感知非语言线索并引导虚拟体格检查。
推荐理由:读者可了解 AMIE 如何用异步多智能体架构在实时视频问诊中兼顾对话延迟与临床推理,以及随机对照研究的评测设计。
Google DeepMind 发布新一代音乐生成模型 Lyria 3.5,并在 Google Flow Music 中上线。官方称其在音乐性、歌词和人声质量上均有提升:旋律结构更丰富自然,歌词生成对提示词的遵循度和结构感知更好,人声表达与情感更细腻且发音改善,同时用户可更便捷地控制输出的节奏与时长。
Google DeepMind 发布 Gemini 3.5 Live Translate,一款支持 70+ 语言的近实时语音到语音翻译音频模型,能自动检测语言并保留说话者的语调、节奏和音高。
推荐理由:Google 发布实时语音翻译模型,给出 70+ 语言、连续生成和产品落地路径,可据此判断实时翻译的可用性。
Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。
推荐理由:Google DeepMind 公开 AI co-clinician 研究,给出医生盲评与多模态模拟的对比结果,可了解医疗智能体的能力边界。
Google DeepMind 发布 Gemini 3.1 Flash TTS,称其在可控性、表现力和语音质量上均有提升,在 Artificial Analysis TTS 榜单上取得 1,211 Elo 分数。
推荐理由:官方给出 Elo 1211 与音频标签控制方式,读者可据此判断语音生成在可控性上的进展。