日均6万亿Token服务背后，商汤大装置如何提升推理效能？

商汤大装置日均Token服务量达6万亿，其通过PD分离与异构混合调度构建万卡级异构推理集群，在特定测试配置下将整体Token吞吐量提升至5倍。该方案解耦计算密集型的Prefill与显存带宽密集型的Decode阶段，并实现节点角色的弹性切换。商汤大装置目前还在进一步探索跨域PD分离与AF分离架构。