Hugging Face 详解如何使用 Transformers 和 Tokenizers 从零训练语言模型
Hugging Face 发布实践教程,演示如何使用其 Transformers 与 Tokenizers 库从零构建并训练一个 84M 参数的世界语语言模型 EsperBERTo。
推荐理由:文章给出了用开源库从分词到预训练与微调的完整工程流程,读者可以直接参考这套范式构建低资源语种模型。
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
Hugging Face 发布实践教程,演示如何使用其 Transformers 与 Tokenizers 库从零构建并训练一个 84M 参数的世界语语言模型 EsperBERTo。
推荐理由:文章给出了用开源库从分词到预训练与微调的完整工程流程,读者可以直接参考这套范式构建低资源语种模型。
OpenAI 正式发布 GPT-2 分阶段发布的最终版本,公开了拥有 1.5B 参数的最大版本模型、代码与模型权重。团队同时提供模型以辅助检测生成内容,希望为未来更强大模型的负责任发布流程提供完整的测试案例。
推荐理由:OpenAI 完整走完分阶段发布流程并开放 1.5B 权重,为大模型负责任发布与生成内容检测提供了参考样本。