跳到正文
热点事件观察中

SageMaker AI实时端点支持KV缓存感知路由

2 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

2026年11月18日,AWS Machine Learning Blog 报道,Amazon SageMaker AI 为实时端点推出 KV cache 感知路由(KV-aware routing),依据模型容器上报的缓存状态,把请求发给持有最长缓存匹配且不过载的实例;报道未披露该功能的上线范围、默认启用方式或性能数据。同日后续报道称,Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,将 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理结合,支持多节点部署、prefill 与 decode 分离以及 KV-aware 路由。目前进展为两项功能发布公告,后续细节与更新尚待观察。

AI 根据报道生成 · 2 天前更新

事件进展

2 个进展
  1. 11月18日 07:33 · 1 篇报道
    SageMaker HyperPod Inference 支持 NVIDIA Dynamo
    AWS Machine Learning Blog:Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo
  2. 11月18日 05:11 · 1 篇报道
    SageMaker AI实时端点支持KV缓存感知路由
    AWS Machine Learning Blog:Amazon SageMaker AI 实时端点支持 KV cache 感知路由

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AWS Machine Learning Blog
    Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo

    Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,把 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理结合,支持多节点部署、prefill 与 decode 分离以及 KV-aware 路由。

  2. AWS Machine Learning Blog
    Amazon SageMaker AI 实时端点支持 KV cache 感知路由

    Amazon SageMaker AI 为实时端点推出 KV cache 感知路由(KV-aware routing),依据模型容器上报的缓存状态,把请求发给持有最长缓存匹配且不过载的实例。

本事件热度走势

当前热度 3·可比范围峰值 10(11月18日 08:00)·近 24 小时可比范围变化 -51%

02.557.51011月18日06:0011月18日21:0011月19日11:0011月20日02:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。