热点事件持续更新
商汤大装置通过PD分离与异构调度提升推理效能
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
2026年10月19日，据报道，商汤大装置的日均Token服务量已达到6万亿。为了提升推理效能，商汤大装置通过PD分离与异构混合调度构建了万卡级异构推理集群。该方案解耦了计算密集型的Prefill阶段与显存带宽密集型的Decode阶段，并实现了节点角色的弹性切换，在特定测试配置下使整体Token吞吐量提升至5倍。目前，商汤大装置正在进一步探索跨域PD分离与AF分离架构。
AI 根据报道生成 · 2 小时前更新
最新进展10月19日 13:22
商汤大装置构建万卡级异构推理集群，并探索跨域PD分离与AF分离架构。报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- 量子位日均6万亿Token服务背后，商汤大装置如何提升推理效能？
商汤大装置日均Token服务量达6万亿，其通过PD分离与异构混合调度构建万卡级异构推理集群，在特定测试配置下将整体Token吞吐量提升至5倍。该方案解耦计算密集型的Prefill与显存带宽密集型的Decode阶段，并实现节点角色的弹性切换。商汤大装置目前还在进一步探索跨域PD分离与AF分离架构。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。