基于互联网的深度学习：通过 DeDLOC 协作训练语言模型

Hugging Face 联合多所机构提出跨互联网协作分布式训练方法 DeDLOC，并联合 40 名志愿者成功预训练出孟加拉语模型 sahajBERT。该方法通过在各节点累加大批次梯度并根据网络条件自适应分配聚合负载，解决了家用宽带带宽受限和节点易掉线的问题。