决策模型如何实现高并发推理部署（Serve）

开发者探讨决策模型的高并发推理部署难题，指出单路请求延迟虽能达到几十ms，但在10路并发下延迟会飙升至500ms以上。该瓶颈源于决策模型采用双向注意力而非因果注意力机制，导致无法使用 prefix cache 且 batch 推理表现不佳，难以在公有云上兼顾低成本与快速响应。