从文件到数据块：提升 Hugging Face 存储效率

Hugging Face 的 Xet 团队采用内容定义分块（CDC）技术，将文件切分为数据块进行增量传输与去重，以优化超 30 PB 资产的存储效率。该方案相比传统 Git LFS 可提升约 50% 的存储与传输性能，在微调模型与检查点上的去重率达 30% 至 85%。团队计划于 2025 年初在 Hub 正式推出首批基于 Xet 的存储库。