AWS Machine Learning Blog· Sunita Nadampalli·· 4 小时前AI 评分45
vLLM 推出基于 push 的 KV 传输，分拆推理下 TTFT 最高提升 3 倍
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与建链从关键路径移到 prefill 侧后台线程，减少首 token 等待。
来源：AWS Machine Learning Blog · aws.amazon.com