Amazon SageMaker HyperPod 推出增强基础设施可观测性
Amazon SageMaker HyperPod 新增增强可观测性能力,可诊断 EKS 和 Slurm 上的 GPU 训练问题。
Amazon SageMaker HyperPod 新增增强可观测性能力,可诊断 EKS 和 Slurm 上的 GPU 训练问题。
NVIDIA Run:ai GPU Fractioning 通过 Kubernetes 集成调度、按 Pod 强制 GPU 显存限制和指标监控,让多个团队共享同一块 GPU。
NVIDIA GeForce NOW 推出黑五促销,Performance 和 Ultimate 六个月会员首期享 30% 折扣,活动持续至 11 月 30 日。
Amazon SageMaker AI Serverless Model Customization 现已支持全量微调(FFT),用户无需配置 GPU 或分布式训练即可获得更高质量的定制模型。
Amazon SageMaker HyperPod 新增工作负载恢复与基础设施检查能力,包含 MultiNodeTrainingValidation 深度健康检查、HyperPod Kubernetes Resource Monitoring Agent 和 Hung job detection 三项功能。
Exa 在 AWS Inferentia2 与 Trainium2 上把嵌入吞吐提升约 1.5 倍(50%),用于支撑数十亿级网页文档的语义索引。优化包括权重布局调整、autocast 降精度(输出与参考的余弦相似度达 0.999)、NKI 注意力 kernel,以及自研 weight-stationary 融合 SwiGLU MLP kernel 消除 HBM 读写停顿。
AWS 在 SageMaker Studio 推出 JumpStart Model Leaderboard,可在同一页面按质量、速度、成本横向对比 70+ 个开放权重模型,覆盖 Meta、Google、Qwen、IBM、Arcee 等提供商。
AWS 将八项负责任 AI(RAI)维度映射到 Amazon Aurora PostgreSQL 的能力上,并以基于 RAG 的客服机器人为参考用例,深入实现其中的可解释性维度。
Airbnb 通过 LLM gateway 在 Amazon Bedrock 上运行编码智能体 AirChat,并用“每任务成本”指导模型选型。约五周内上线八款新模型,到 10 月中旬约三分之二的编码智能体请求已流向这些新模型。Airbnb 在发布前用自有任务评测各模型的得分与每任务成本,发布后借助 CloudWatch 的延迟、限流和 token 指标核对生产表现。
Salesforce 在 Amazon SageMaker AI 上采用跨区域推理路由,把分布在 30+ Region 和数百个 AWS 账户的已有端点注册到一次调用之后,本地端点无法承载的流量改由其他区域承接。
Amazon Bedrock AgentCore Identity 新增私有 CA 支持,智能体可连接使用私有证书颁发机构的自托管 IdP。
Stretto 基于 Amazon Bedrock 上的语音到语音模型 Amazon Nova 2 Sonic 构建了 AI 语音智能体 Tara,通过电话完成破产申请的多阶段信息采集,并按律师设定的规则将线索分为合格、不合格或需补充信息。
Amazon Bedrock AgentCore Gateway 可通过自管理模式的 VPC Lattice resource gateway 接入 hub-and-spoke 网络中的私有 API 和 MCP 服务器,且双向流量都经过中心防火墙检查。
Social Department 基于 Amazon Bedrock 打造 QuickSearch,用 Shareable Scenes、Quotable Quotes、Memeable Moments、Trend Align 四个单步查询替代纯语义搜索。
AWS Quick 在 DC 用户组活动上展示其从 BI 可视化工具演进为统一 AI 助手,可把自然语言问题转为多步可复用动作,并内置 Salesforce、Slack、Google Drive、Microsoft 365 连接器。
Codex 在用户机器上执行命令时,会按用户设定的文件系统与网络限制进行约束,覆盖 macOS、Linux 和 Windows 三大平台。
OpenAI 用 GPT-6 Astra 优化了 Jalapeño 硅片中的电路,并改进了 RISC-V 核心设计,展示了 AI 辅助芯片设计的进展。
NVIDIA 宣布华硕、戴尔和微星的 RTX Spark 紧凑台式机即日开售,搭载 20 核 Grace CPU 与 Blackwell RTX GPU(6,144 个 CUDA 核心),最高 128GB 统一内存、1 petaflop AI 性能,可本地运行 1200 亿参数大模型并支持 24/7 常驻智能体。
推荐理由:原文列出 RTX Spark 紧凑台式机的硬件规格与本地模型、智能体运行能力,可据此判断本地 AI 工作站的配置取舍。
针对 Flightscape 航班运营平台的培训排程优化智能体,团队用三种可组合策略处理 20 MB+ JSON 负载,在 23 MB 代表性负载的基准测试中将 token 消耗最多降低 71%、平均延迟最多降低 80%。
Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,把 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理结合,支持多节点部署、prefill 与 decode 分离以及 KV-aware 路由。
Amazon SageMaker AI 为实时端点推出 KV cache 感知路由(KV-aware routing),依据模型容器上报的缓存状态,把请求发给持有最长缓存匹配且不过载的实例。
AWS 提出在生成式 AI 工作流中先判断每一步是否真的需要调用模型:能用格式、schema、关键词或数值范围等规则校验的步骤应交给确定性代码,只有开放式任务才用 Amazon Bedrock 上合适规模的模型。
Amazon Bedrock AgentCore Identity 针对 Snowflake 托管的 MCP 服务器测试了三种 OAuth 配置:Snowflake OAuth(3LO,无需外部 IdP)、第三方 IdP 三腿 OAuth(企业 SSO)和第三方 IdP 两腿 OAuth(共享服务用户)。
AWS Agent Registry 新增自定义元数据 schema,管理员可定义字段名、类型、允许值和必填项并强制应用于注册表内所有记录。记录缺少必填字段或含未知字段、非法值时会被拒绝并返回 ValidationException,无自定义元数据的记录则标记为 NON_COMPLIANT。元数据值可被索引,消费者和智能体可用 environment=prod 等过滤条件检索,且只返回已批准记录。
AWS 发布开源 Python SDK 与 Terraform 栈 SMART(Social Messaging Agent Runtime Toolkit),用于在 Amazon Bedrock AgentCore 上构建 WhatsApp AI 智能体,一条命令即可把整套基础设施部署到自己的 AWS 账户。
AWS Forward Deployed Engineering(FDE)现已在美国、墨西哥、巴西、加拿大、澳大利亚、新加坡、印度、韩国、日本、英国、德国、荷兰、法国、瑞典和沙特阿拉伯 15 个国家向商业与公共部门客户开放,并内置数十个生产就绪加速器。
Aionic Labs 开发的开源时间序列语言模型 OpenTSLM 已在 Amazon SageMaker JumpStart 上线,可部署在用户自己的 AWS 环境中。该模型将设备传感器等数值测量与维护记录、市场新闻等文本上下文结合,识别近期数据中的潜在问题。Nexthink 已将其用于个人 IT 智能体 Spark,从设备遥测生成状态摘要、建议操作和预期结果。
AWS 提出面向智能体 AI 平台的负责任 AI 三阶段成熟度框架:治理基础、试点部署、评估与加固,并配套 Responsible AI Assessment Skill 与评分卡,将 AWS Responsible AI Lens 各支柱映射到 12 周可定制实施时间线。
LoanPro 联合 AWS 合作伙伴 AllCloud 与 AWS 生成式 AI 创新中心,基于 Amazon Bedrock AgentCore 构建了多智能体贷款服务助手,早期结果显示客服通话时长最多缩短 15%。
AWS re:Invent 2026(11 月 30 日至 12 月 4 日)设多场 AWS Quick 专题分会,Allianz、Cox Automotive、Mondelez、DXC、Southwest Airlines 等客户将登台分享治理、扩展与规模化部署经验。
ArisGlobal 在 Amazon Bedrock 上为生命科学 AI 引擎 NavaX 调整提示词缓存顺序,将共享提示词前缀而非源文档放入缓存,以降低有效输入成本并支持更多租户而不成比例增加成本。
NVIDIA 在 SC26 大会上发布 Nemotron for Science,将 Nemotron 3.5 Super VL 开放模型与新的开放化学数据集及后训练配方结合,可在 DGX Spark、工作站或自有超算上本地运行。
Amazon Bedrock Managed Knowledge Base 与 Amazon Bedrock AgentCore memory 集成,通过 AgenticRetrieveStream 请求中的 memoryConfiguration 把 AgentCore memory 变为知识库之外的检索源,自动恢复会话、提取并调用用户长期记忆。
NVIDIA 在 SC26 推出 DGX Spark HPC 开发者套件,由四台 DGX Spark 组成环形直连集群,无需网络交换机,合计 512GB 内存和 16TB NVMe 存储。
推荐理由:原文给出四节点集群的规格与科研场景实测,读者可据此判断桌面级多节点算力能替代哪些排队等待的集群任务。
AWS 博客系统梳理多智能体设计模式,按控制流分为开发者定义路径的 Tier 1(顺序流水线、条件工作流、条件路由、并行工作流)和模型运行时决定路径的 Tier 2(计划编排、交接、对话驱动、辩论共识),并建议默认从 Tier 1 起步。
Duco 基于 Amazon Bedrock 与 Bedrock AgentCore 重建智能体 AI 栈,从传统机器学习转向智能体方案,以缩短部署时间并降低客户接入成本。
NVIDIA 运营负责人 Deb Shoquist 接受采访,讲述其团队如何将芯片设计转化为可量产的 AI 基础设施供应链。她每年花六周走访台湾、中国、韩国、越南和美国的合作伙伴,与 TSMC 的合作始于 1998 年。她近日获颁 2026 年 Dr. Lisa Su Woman of Innovation Award。
微软研究院联合 UC Berkeley 和 Microsoft Security 提出开源插件 TokenEconomizer,它从编码智能体在仓库中的历史会话学习,在不修改智能体和底层模型的情况下减少重复探索、无用工具加载和失败循环。
推荐理由:微软研究院等机构提出的插件在不改动智能体和模型的前提下,用仓库历史降低编码智能体的 token 成本,并给出多组合实测数据。
MoEngage 基于 Amazon Bedrock 与 AgentCore 构建了 Merlin AI 智能体体系,通过 MCP Connector 让 Claude、ChatGPT 等兼容 MCP 的助手以租户隔离方式访问品牌分群、活动历史与内容库。
AWS 发布五阶段方法论,借助 Amazon Bedrock、Kiro IDE 和 AWS Transform 将大型机 Assembler 程序先转为 COBOL 中间层、再转为 Java Spring Boot 服务部署到 AWS。