Hugging Face·· 2023-03-09精选AI 评分76
Hugging Face 推出 TRL 与 PEFT 集成：支持在 24GB 消费级 GPU 上对 20B 模型进行 RLHF 微调
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU
AI 导读
Hugging Face 正式发布 TRL 与 PEFT 库的集成，支持在单张 24GB 消费级 GPU（如 RTX 4090）上对 20B 参数大语言模型运行基于人类反馈的强化学习（RLHF）微调。
推荐理由
通过 8-bit 量化与适配器动态切换避免双模型副本占用，为显存受限环境下跑通 RLHF 提供了具体工程参考。
来源：Hugging Face · huggingface.co