热点事件观察中
SageMaker AI实时端点支持KV缓存感知路由
2 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
2026年11月18日,AWS Machine Learning Blog 报道,Amazon SageMaker AI 为实时端点推出 KV cache 感知路由(KV-aware routing),依据模型容器上报的缓存状态,把请求发给持有最长缓存匹配且不过载的实例;报道未披露该功能的上线范围、默认启用方式或性能数据。同日后续报道称,Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,将 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理结合,支持多节点部署、prefill 与 decode 分离以及 KV-aware 路由。目前进展为两项功能发布公告,后续细节与更新尚待观察。
AI 根据报道生成 · 2 天前更新
事件进展
2 个进展
- 11月18日 07:33 · 1 篇报道SageMaker HyperPod Inference 支持 NVIDIA DynamoAWS Machine Learning Blog:Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo
- 11月18日 05:11 · 1 篇报道SageMaker AI实时端点支持KV缓存感知路由AWS Machine Learning Blog:Amazon SageMaker AI 实时端点支持 KV cache 感知路由
报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- AWS Machine Learning BlogAmazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo
Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,把 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理结合,支持多节点部署、prefill 与 decode 分离以及 KV-aware 路由。
- AWS Machine Learning BlogAmazon SageMaker AI 实时端点支持 KV cache 感知路由
Amazon SageMaker AI 为实时端点推出 KV cache 感知路由(KV-aware routing),依据模型容器上报的缓存状态,把请求发给持有最长缓存匹配且不过载的实例。
本事件热度走势
当前热度 3·可比范围峰值 10(11月18日 08:00)·近 24 小时可比范围变化 -51%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。