用 AWS CDK 编排 SageMaker AI 端点自动扩缩容
针对 SageMaker AI 实时端点更新配置时 CloudFormation/CDK 部署失败的问题,AWS 给出一个可复用 CDK construct,用三个自定义资源在端点更新前后自动注销并重新注册 Application Auto Scaling 扩缩容目标。
针对 SageMaker AI 实时端点更新配置时 CloudFormation/CDK 部署失败的问题,AWS 给出一个可复用 CDK construct,用三个自定义资源在端点更新前后自动注销并重新注册 Application Auto Scaling 扩缩容目标。
OpenAI 通过可靠的多租户架构、全局缓存和 Azure Cosmos DB 扩展 Habitat 存储系统,使 ChatGPT 的读取速度提升 12 倍。该系统需支撑超过 10 亿 ChatGPT 用户。
Hugging Face 推出 torch-neuronx 模型支持 Space,可查询 Hub 上热门模型能否在 AWS Trainium 上原样运行,并给出复现脚本。
OpenAI 与波兰 NASK 建立合作,聚焦 AI 安全、保障与技术研究,以强化防护措施并支持更具韧性的数字生态。
Firebird 与哈萨克斯坦政府签署投资协议,获得 45,000 块 NVIDIA Grace Blackwell GPU 的美国出口许可,首期与 Kazakhtelecom 在 Data Center Valley 建设,目标 2027 年第三季度商用。
微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的确定性校验直接当作 RL 奖励,用于训练智能体。
Anima 利用 GPT-6 和 GPT-Live 将诊所电话等待时间降低 75%,并扩展了护理团队使用 OpenAI 模型的能力。该方案让护理团队有更多余力响应患者。
OpenAI 发布 Decisions API,为各类应用提供快速、聚焦、低成本的决定能力。该 API 面向需要更快响应的应用场景,官方称其成本较低。
在 Amazon SageMaker AI 的实时端点上托管 Kokoro-82M 语音合成模型,把 AI 智能体生成的每个句子即时送入合成,让音频在完整回复生成前就开始播放。
Amazon Quick 是 AWS 的 HIPAA-eligible 服务,其 Web、桌面和移动客户端均可在签署 AWS BAA 后用于处理 PHI。该服务提供 ACL 感知检索、聊天与反馈日志,以及限制各 chat agent 可执行操作的控制项,并支持通过 MCP 接入自定义工具。
Amazon SageMaker AI 的 Serverless 模型定制新增训练会话 API,把 forward_backward()、optim_step()、sample() 等操作变成 API 调用,模型在 GPU 上保持加载,用户只需在本地 Python 中编写训练循环。
AWS 宣布 SageMaker AI 无服务器模型定制功能正式推出训练会话(training sessions),用户可自行编写训练循环、损失函数和奖励信号,GPU 分配、分布式执行、故障恢复与 checkpoint 存储由平台负责。
IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建企业知识助手,覆盖零售运营、兽医护理、人事入职和采购,支持四种语言、三个国家,无需自管 RAG 基础设施。
Amazon Polly Generative 引擎完成升级并正式可用,语音更自然准确、延迟更低,新增 14 种语音覆盖 9 个 locale,印地语和芬兰语首次在生成式引擎上正式可用。
Ai2 发布 OlmoEarth v1.3 卫星嵌入模型,为全球每 10 米像素生成 128 维向量,前 64 维可单独使用。团队同时公开全行星预计算年度嵌入(10m、64 与 128 维)和无需登录的 OlmoEarth Embeddings Explorer 浏览器工具,模型权重、预训练数据和代码全部开放。
Rescale 基于 AWS 的 AI-DLC 框架和 Strands Agents 构建了 AI 分诊智能体,从问题定义到 staging 部署仅用五天,数周内进入生产。
针对自托管 TTS 端点自动扩缩容目标值靠猜的问题,AWS 在 Amazon SageMaker AI 实时端点上部署 82M 参数的 Kokoro-82M 自定义容器,用实测的 Q_max(单实例在 SLO 内可承受的最高并发)和 T_total(一次扩容端到端耗时)推算扩容阈值、缩容阈值与两个冷却时间。
Uber 正在向超过 30,000 名员工推广 ChatGPT Work,帮助团队进行研究、数据分析、制作演示文稿并完成复杂工作流。此次部署由 OpenAI 提供支持。
Microsoft Research 发布 Flint-interactive,一种在 Flint 之上创建交互式数据可视化的语言,让智能体生成可点击、筛选、缩放和跨图表联动的图表。
NVIDIA 发布 AIOps 平台 Minerva,汇集基础设施与 AI 负载的遥测数据,用专用 AI 模型把数据转化为可执行洞察。该平台通过动态知识图谱映射 GPU、SuperNIC、交换机、线缆及运行其上的作业,每小时分析数十亿数据点,可把大量告警聚合成单一事件并给出可能根因。
Google DeepMind 与 Google Research 联合 WRI、IIASA 发布 Forest Typology(ForTy)2020,把全球每块 10×10 米土地归入六类森林与土地利用类型,并给出 2017 至 2025 年的逐年变化时序。
OpenAI 解释了 FDE(前沿部署工程师)在其内部的具体含义。文章围绕这一岗位的定位与工作方式展开,说明前沿部署工程在 OpenAI 的职责内涵。
IBM 在 Hugging Face 发布 Granite Timeseries Ensemble,用一套可扩展接口组合四个 Granite 时序模型,无需重训、无需拟合集成权重即可输出中位数与分位数预测。
NVIDIA 与欧洲多国政府及合作伙伴推进公共部门 AI 项目,覆盖欧盟委员会、波兰、英国、德国、法国和希腊。德国方面,secunet、NVIDIA、Red Hat 与 deepset 正基于 SINA Cloud 开发主权云方案,整合 NVIDIA Nemotron 开放模型与 Red Hat OpenShift AI。
NVIDIA 在 GTC Berlin 展示 Earth-2 开放模型家族在欧洲的实际部署,最新成员 StormScope EU 基于 EUMETSAT 卫星观测,以 10 分钟间隔预测 16 个 Meteosat 通道的云况。
NVIDIA 正推动欧洲零售商在电商与仓储场景落地开放模型和物理智能:Shopify 用 NVIDIA Nemotron 3.5 Lightning 后训练出 Sidekick 的 GraphQL 子智能体,内部基准上准确率超过领先前沿模型,服务成本降低 90%、响应快 7 倍。
NVIDIA DSX AI Factory Platform 正被全球企业用于把电网与 AI 工厂作为一套系统统一规划、仿真和运行。GE Vernova、日立能源、施耐德电气、西门子能源等厂商已基于该平台推出参考架构与数字孪生方案;Phaidra 集成 DSX Flex、DSX Max-Q 和 DSX Exchange 后,在同等功耗下多获得约 10% 算力。
NVIDIA 扩展 Cosmos 平台,新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图,覆盖世界模型从数据准备到部署的流程。
推荐理由:原文列出 Cosmos 平台新增的训练工具、仿真检查点和数据工厂蓝图,读者可据此了解世界模型从数据到部署的完整链路。
Revolut 正基于 NVIDIA 加速计算以单一基础模型 PRAGMA 重建技术栈,在 Blackwell Ultra GPU 上生产部署,初期服务 8000 万客户并设计支持 3 倍扩展。
Cloudflare 使用 OpenAI Daybreak 调查漏洞并提出修复方案供人工审核,其开发者则用 Codex 加快开发并提升代码质量。
AWS 解决方案架构团队开源了多智能体数据分析系统 Deep Insight,并总结生产化中的 5 个核心挑战:执行流控制、各智能体模型选型、生产运行、AI 生成代码的安全执行、监控运维。
AWS 发布方案,通过 AWS PrivateLink 的 VPC 端点与 Quick 的 VPC 连接,让 Amazon Quick 在不经过公网的情况下访问企业防火墙后的本地数据源。
基于 Strands Agents 构建的 Adaptive Agentic Intelligence Framework(AAIF)用 llama3.2:1b 作为编排层对请求分类,常规任务由 Ollama 本地 SLM 处理,复杂分析经 boto3 路由至 Amazon Bedrock。
OpenAI 正与分发合作伙伴协作,通过统一标准维护一致的安全防护、支持负责任地使用其模型,并在 Usage Policies 中明确各方预期。
在单台 trn2.48xlarge 上,torchtitan 可通过 TorchNeuron 将 Trainium 注册为原生 PyTorch 设备,并以三种方式训练 Qwen3-4B-Instruct-2507:Transformers v5 后端、torchtitan 原生 Qwen3 实现,以及挂载 NKI MoE kernel。
美国非营利组织 U.S. Hunger 借助 Amazon Quick 让领导层直接探索组织数据,并将 SQL Server 数据每晚 2 点刷新至 SPICE 内存引擎。Quick Spaces 为领导团队提供共享的 KPI 定义、财务文档与分析空间,目前已有 17 名同事获得访问权限,覆盖高管、技术、Full Cart 项目、财务与合规等职能。
OpenAI 发布前沿 AI 民主治理蓝图的第二部分,聚焦赋能网络防御者。该蓝图提出以前沿 AI 强化防护能力、加强安全保障、推进网络安全现代化,并提升公共机构的韧性。
IBM 发布 Granite Speech 5.0 系列三项更新:新模型 granite-speech-5.0-2b 支持英法德西葡日六种语言转写及与英语互译。
Hugging Face 博客发布《Profiling TorchNeuron》系列第一篇,讲解如何在 AWS Trainium 上用 torch.profiler 配合 NeuronConfig 与 NeuronProfiler 抓取干净的推理性能 trace。
Dharma-AI 团队提出 VocabX 方法,在不更换基座模型、数据和训练配方的前提下,围绕每个 token 的推理成本而非出现频率重建词表,在基于 Qwen3-4B 的葡萄牙语作文评分器上将实测推理成本降低 77.0%。
推荐理由:作者团队公开 VocabX 的词表专门化方法,读者可了解按生成成本而非词频选择 token 的思路与实测数据。