Hugging Face TRL 支持视觉语言模型 DPO 微调实践指南

Hugging Face 宣布 TRL 库正式支持视觉语言模型（VLM）的直接偏好优化（DPO），用于对齐人类偏好并减少多模态幻觉。教程以 Idefics2-8b 为例，结合 bfloat16 与 LoRA 技术将全量训练所需的 160GB 显存降低至 32.3GB，并在 AMBER 幻觉基准测试中改善了表现。目前该流程还兼容 Llava 1.5 与 PaliGemma 等主流模型。