AWS Machine Learning Blog· Sunita Nadampalli·· 4 小时前AI 评分50
AWS 为 vLLM 拆分式推理推出 Push 模式 KV 传输
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 在 vLLM 中贡献了基于 NIXL 的 Push 模式 KV 连接器，把解码端的块注册提前到预填计算期间完成，从而让 KV 传输准备离开首 token 的关键路径。
来源：AWS Machine Learning Blog · aws.amazon.com