EXL 谈如何设计可持续演进的 AI 服务框架
EXL 提出企业 AI 的竞争优势正从选模型转向围绕模型构建的服务框架(serving harness),即架构、内存管理、调度与推理优化的工程系统。其主张先按业务负载确定约束再定架构,并以 KV cache 随并发与上下文增长导致 GPU 显存不足为例,强调先测量再优化。框架还应便于吸收新模型与硬件变化,使换模型成为评估与配置决策而非架构重建。
EXL 提出企业 AI 的竞争优势正从选模型转向围绕模型构建的服务框架(serving harness),即架构、内存管理、调度与推理优化的工程系统。其主张先按业务负载确定约束再定架构,并以 KV cache 随并发与上下文增长导致 GPU 显存不足为例,强调先测量再优化。框架还应便于吸收新模型与硬件变化,使换模型成为评估与配置决策而非架构重建。
OpenAI 发布 Decisions API,为各类应用提供快速、聚焦、低成本的决定能力。该 API 面向需要更快响应的应用场景,官方称其成本较低。
在 Amazon SageMaker AI 的实时端点上托管 Kokoro-82M 语音合成模型,把 AI 智能体生成的每个句子即时送入合成,让音频在完整回复生成前就开始播放。
Amazon Quick 是 AWS 的 HIPAA-eligible 服务,其 Web、桌面和移动客户端均可在签署 AWS BAA 后用于处理 PHI。该服务提供 ACL 感知检索、聊天与反馈日志,以及限制各 chat agent 可执行操作的控制项,并支持通过 MCP 接入自定义工具。
AWS 宣布 SageMaker AI 无服务器模型定制功能正式推出训练会话(training sessions),用户可自行编写训练循环、损失函数和奖励信号,GPU 分配、分布式执行、故障恢复与 checkpoint 存储由平台负责。
IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建企业知识助手,覆盖零售运营、兽医护理、人事入职和采购,支持四种语言、三个国家,无需自管 RAG 基础设施。
Amazon Polly Generative 引擎完成升级并正式可用,语音更自然准确、延迟更低,新增 14 种语音覆盖 9 个 locale,印地语和芬兰语首次在生成式引擎上正式可用。
Google 发布 Agent Compute Engine,为每个 AI 智能体分配一台由 Titanium 芯片保护的独立微虚拟机,该服务已用于支撑 Gemini,并将在未来几个月开放预览。
Modal CEO Erik Bernhardsson 在访谈中解释,传统 GPU 容量合同按固定数量、固定期限购买,画成曲线是矩形,而真实负载会随时段增长、尖峰和回落,按峰值采购就要为闲置硬件付费。
Uber 与 OpenAI 扩大合作,将 ChatGPT Work 推广至全球约 3 万名员工,此前该工具已在 1000 名员工中试点。Uber 工程副总裁 Sumanth Sukumar 称,早期使用者中约 80% 为非工程师,用于运营数据分析、培训材料本地化和个性化仪表盘等任务。Uber 未披露此次部署的支出,表示将跟踪员工使用方式和工作流效果。
Rescale 基于 AWS 的 AI-DLC 框架和 Strands Agents 构建了 AI 分诊智能体,从问题定义到 staging 部署仅用五天,数周内进入生产。
针对自托管 TTS 端点自动扩缩容目标值靠猜的问题,AWS 在 Amazon SageMaker AI 实时端点上部署 82M 参数的 Kokoro-82M 自定义容器,用实测的 Q_max(单实例在 SLO 内可承受的最高并发)和 T_total(一次扩容端到端耗时)推算扩容阈值、缩容阈值与两个冷却时间。
NVIDIA 发布 AIOps 平台 Minerva,汇集基础设施与 AI 负载的遥测数据,用专用 AI 模型把数据转化为可执行洞察。该平台通过动态知识图谱映射 GPU、SuperNIC、交换机、线缆及运行其上的作业,每小时分析数十亿数据点,可把大量告警聚合成单一事件并给出可能根因。
Moshi CEO Anekha Sokhal 在 AI Engineer New York 播客中介绍,Moshi 是面向交易员的推荐引擎,把市场信息与交易员持仓关联起来,她形容其像 Bloomberg、Claude 与 Netflix 的结合体。
Moshi 正在为大宗商品交易员构建推荐引擎,把市场信息与交易员持仓组合真正相关的部分连接起来。CEO Anekha Sokhal 称 Moshi 像是 Bloomberg、Claude 和 Netflix 的结合体:市场数据、操作界面加上针对交易员的推荐。她还在 AI Engineer New York 与 swyx 讨论了可信信源、文档抽取以及自建还是采购模型。
OpenAI 解释了 FDE(前沿部署工程师)在其内部的具体含义。文章围绕这一岗位的定位与工作方式展开,说明前沿部署工程在 OpenAI 的职责内涵。
Celonis 企业 AI 首席科学家 Devavrat Shah 提出"决策智能",认为 AI 智能体必须理解任务在业务流程中的角色与约束,否则会遗漏关键限制、犯错或浪费算力。他建议企业从具体业务决策入手,先找出最难环节再测试 AI 能否改善,并以速度与价值增益决定是否扩展。落地还需投入员工教育,让员工能理解 AI 输出而非直接交出决策权。
WD 内部测量显示,一段 8 秒 AI 视频(用户拿到的 720p 文件仅 3.97MB)在后端留下超过 500MB 关联数据,是输出文件体积的 130 倍。WD 委托 IDC 对 763 名 IT 与业务决策者的调查中,近 95% 受访者称过去 12 个月生成式 AI 导致数据量增长,约 61% 增幅达 25% 以上。
NVIDIA 与欧洲多国政府及合作伙伴推进公共部门 AI 项目,覆盖欧盟委员会、波兰、英国、德国、法国和希腊。德国方面,secunet、NVIDIA、Red Hat 与 deepset 正基于 SINA Cloud 开发主权云方案,整合 NVIDIA Nemotron 开放模型与 Red Hat OpenShift AI。
NVIDIA 在 GTC Berlin 展示 Earth-2 开放模型家族在欧洲的实际部署,最新成员 StormScope EU 基于 EUMETSAT 卫星观测,以 10 分钟间隔预测 16 个 Meteosat 通道的云况。
NVIDIA DSX AI Factory Platform 正被全球企业用于把电网与 AI 工厂作为一套系统统一规划、仿真和运行。GE Vernova、日立能源、施耐德电气、西门子能源等厂商已基于该平台推出参考架构与数字孪生方案;Phaidra 集成 DSX Flex、DSX Max-Q 和 DSX Exchange 后,在同等功耗下多获得约 10% 算力。
NVIDIA 扩展 Cosmos 平台,新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图,覆盖世界模型从数据准备到部署的流程。
推荐理由:原文列出 Cosmos 平台新增的训练工具、仿真检查点和数据工厂蓝图,读者可据此了解世界模型从数据到部署的完整链路。
Revolut 正基于 NVIDIA 加速计算以单一基础模型 PRAGMA 重建技术栈,在 Blackwell Ultra GPU 上生产部署,初期服务 8000 万客户并设计支持 3 倍扩展。
AWS 解决方案架构团队开源了多智能体数据分析系统 Deep Insight,并总结生产化中的 5 个核心挑战:执行流控制、各智能体模型选型、生产运行、AI 生成代码的安全执行、监控运维。
AWS 发布方案,通过 AWS PrivateLink 的 VPC 端点与 Quick 的 VPC 连接,让 Amazon Quick 在不经过公网的情况下访问企业防火墙后的本地数据源。
Monday.com 委托 Nielsen 对 7 国 1700 名董事与高级管理者调查发现,超半数高管认为采用 AI 后更难评估员工工作,近半数管理者花更多时间审核团队产出。
Blacksmith 完成红杉领投的 6600 万美元 C 轮融资,估值达 10 亿美元。这家帮助企业对包括 AI 生成代码在内的软件进行构建与测试的平台称,其年度经常性收入增长 17 倍,已运行超过 9000 万个 CI 任务,客户包括 Mercury 和 Granola。此轮距其 4500 万美元 B 轮仅两个月,公司累计融资 1.25 亿美元。
Blackstone 高管 Jas Khaira 在 TechCrunch Disrupt 上表示,市场对 AI 基建债务引发信贷危机的担忧被夸大,因为多数数据中心为超大规模厂商建设,债务最终由全球信用最好的公司背书。
基于 Strands Agents 构建的 Adaptive Agentic Intelligence Framework(AAIF)用 llama3.2:1b 作为编排层对请求分类,常规任务由 Ollama 本地 SLM 处理,复杂分析经 boto3 路由至 Amazon Bedrock。
在单台 trn2.48xlarge 上,torchtitan 可通过 TorchNeuron 将 Trainium 注册为原生 PyTorch 设备,并以三种方式训练 Qwen3-4B-Instruct-2507:Transformers v5 后端、torchtitan 原生 Qwen3 实现,以及挂载 NKI MoE kernel。
美国非营利组织 U.S. Hunger 借助 Amazon Quick 让领导层直接探索组织数据,并将 SQL Server 数据每晚 2 点刷新至 SPICE 内存引擎。Quick Spaces 为领导团队提供共享的 KPI 定义、财务文档与分析空间,目前已有 17 名同事获得访问权限,覆盖高管、技术、Full Cart 项目、财务与合规等职能。
Hugging Face 博客发布《Profiling TorchNeuron》系列第一篇,讲解如何在 AWS Trainium 上用 torch.profiler 配合 NeuronConfig 与 NeuronProfiler 抓取干净的推理性能 trace。
Dharma-AI 团队提出 VocabX 方法,在不更换基座模型、数据和训练配方的前提下,围绕每个 token 的推理成本而非出现频率重建词表,在基于 Qwen3-4B 的葡萄牙语作文评分器上将实测推理成本降低 77.0%。
推荐理由:作者团队公开 VocabX 的词表专门化方法,读者可了解按生成成本而非词频选择 token 的思路与实测数据。
Google Cloud 开始提供 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 和 GPT-6 Luna 三款模型,成为唯一同时上架 Gemini、Claude 和 OpenAI 模型的主要云厂商。
Inception 发布扩散语言模型 Mercury 3,称其在 12 项基准中赢下 8 项,运行速度为 GPT-6 Luna 和 Claude Haiku 5.5 的 4 至 8 倍。
OpenAI 为 ChatGPT 构建了由 LLM 驱动的广告技术栈,用于理解对话意图、将广告与回答内容分离,并大规模投放相关广告。该技术栈的设计目标是兼顾用户信任与广告相关性。
Nvidia 在 GTC Berlin 发布 DSX POD,这是围绕 Vera Rubin 系统构建的模块化数据中心参考设计,Dell、HPE、Lenovo、Schneider Electric 等合作伙伴在工厂内完成计算、网络、布线、供电和液冷安装与测试,现场只需接入电力、冷却和网络。
Nebius、Nscale 和 Verda 等 AI 云厂商正采用 NVIDIA Vera CPU 构建本地基础设施,以支撑智能体计算中信息检索、代码执行等 CPU 密集型任务。
NVIDIA 扩展机密计算能力,新增 Confidential Bare Metal 部署选项,让前沿模型构建方在第三方专用基础设施上运行敏感负载并保留对模型和数据的控制。
NVIDIA cuDSS 正式 GA,作为 CUDA-X 库将大型稀疏系统求解迁移到 GPU,缩短仿真出结果时间并提升吞吐。Applied Materials 在 Ginestra 中实现最高 10x 加速,Dassault Systèmes 的 Abaqus 报告 8-10x 提升,ZEISS SMT 用 COMSOL 完成 EUV 光刻等离子体仿真基准测试提速 4x。