Hugging Face·· 2021-12-08精选AI 评分65
从零训练代码生成模型 CodeParrot 指南
Training CodeParrot 🦜 from Scratch
AI 导读
Hugging Face 详细介绍了如何从零预训练 Python 代码生成模型 CodeParrot，并开源了配套的 50GB 清洗后数据集与模型权重。
推荐理由
提供了从数据去重、分词到分布式预训练的完整工程实现，读者可直接复用其流式训练与多卡加速脚本。
来源：Hugging Face · huggingface.co