vLLM 引入推模式 KV 传输：改善分离式推理的 TTFT 与 TPOT

vLLM 引入了推模式 NIXL 连接器，将分离式 prefill/decode 推理中的 KV cache 传输协调移出关键路径。在搭载 AWS EFA 的 Amazon EC2 P5en 实例上测试 Qwen3-32B 模型，推模式相比 pull 模式实现 TTFT 提升最高 3 倍、TPOT 提升最高 30%。