Hugging Face 评测超越 LoRA 的微调方法

Hugging Face 在统一基准下对比了 PEFT 库中的多种参数高效微调方法，结果显示 LoRA 并非所有场景下的最优选择。在 Llama-3.2-3B 数学推理任务中，带稳定秩初始化的 LoRA 准确率达到 53.2%，而 Lily 达到 54.9%，LoRA-FA 则更加节省显存；在图像生成测试中，OFT 在相似度得分与显存占用上均优于 LoRA。