Hugging Face 详解连续批处理异步化：分离 CPU 与 GPU 负载提升推理性能

Hugging Face 详细阐述了在连续批处理中实现异步执行的机制，通过解耦 CPU 批次准备与 GPU 计算消除硬件等待间隙。方案基于非默认 CUDA 流、CUDA 事件同步、双槽位交替缓冲与 carry-over 掩码设计，并在共享内存池中复用 CUDA 图以控制显存开销。