AWS Machine Learning· Sunita Nadampalli·· 3 小时前AI 评分43
vLLM 如何通过双向 KV 传输优化多轮智能体工作负载的 TTFT
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 导读
vLLM 引入双向 KV 传输功能，允许 decode 节点在多轮对话中将已计算的 KV cache 传回 prefill 节点，以消除重复的上下文预填充计算。
来源：AWS Machine Learning · aws.amazon.com