AWS Machine Learning Blog· Vinay Arora·· 2 天前AI 评分58
Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo
Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
AI 导读
Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,把 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理结合,支持多节点部署、prefill 与 decode 分离以及 KV-aware 路由。
来源:AWS Machine Learning Blog · aws.amazon.com