Hugging Face·· 2025-03-18精选AI 评分62
Hugging Face Hub 正式上线 Xet 存储架构
Xet is on the Hub
AI 导读
Hugging Face 宣布将 Hub 的模型与数据集仓库逐步从 Git LFS 迁移至基于内容分块去重的 Xet 存储架构,并开放候补名单。首批迁移已承载约 6% 的下载流量,团队通过优化块元数据格式解决了非对齐读取带来的额外下载开销,使 GET 延迟降低约 35%。后续官方将推出 hf_xet 包,在保持现有下载命令与工作流不变的同时加速大文件传输。
推荐理由
文章结合真实迁移复盘了块格式冗余读取与节点负载失衡等工程挑战,为大规模数据存储架构演进提供了可落地的实战经验。
来源:Hugging Face · huggingface.co