Hugging Face·· 2024-02-23精选AI 评分66
在 Hugging Face 中微调 Gemma 模型的实践指南
Fine-Tuning Gemma Models in Hugging Face
AI 导读
Hugging Face 官方发布了使用 Transformers 和 PEFT 库对 Google Gemma 模型进行高效微调的操作指南。教程演示了如何结合 bitsandbytes 的 QLoRA 4-bit 量化加载 gemma-2b，并使用 TRL 的 SFTTrainer 训练名言格式生成。
推荐理由
原文提供了可直接复用的代码与配置，读者可以据此在消费级 GPU 或 TPU 上以低显存成本微调 Gemma 模型。
来源：Hugging Face · huggingface.co