Hugging Face 实测大语言模型偏好对齐：DPO、IPO 与 KTO 效果对比

Hugging Face 对 DPO、IPO 和 KTO 三种免强化学习的大语言模型偏好对齐方法进行了超参数扫描与实测对比。实验在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 上展开并通过 MT-Bench 评估，修正 TRL 实现后 IPO 与 DPO 表现相当且优于成对设定的 KTO。