Hugging Face 详解高效多模态数据管道构建

Hugging Face 团队针对多模态模型训练中 GPU 空转及无效填充 token 占比过高的问题，分享了一套分阶段优化的多模态数据管道方案。该方案借鉴了 Eagle 2 的平衡背包算法，通过 PyTorch IterableDataset 与生产者-消费者多线程队列，同时对 token 长度与图像数量进行约束打包，在大幅减少填充开销的同时保证了各 GPU 间的工作负载均衡。