Hugging Face·· 2024-02-19精选AI 评分71
Hugging Face PEFT 支持多种 LoRA 适配器融合新方法
🤗 PEFT welcomes new merging methods
AI 导读
Hugging Face 宣布在 PEFT 库中支持多种针对 LoRA 适配器的融合新方法,允许开发者在运行时动态合并来自同一基模的多个微调权重。新方法涵盖矩阵拼接(cat)、线性加权(linear)、SVD 分解、TIES、DARE 以及幅度剪枝等机制,可通过 add_weighted_adapter() 直接调用。
推荐理由
文章梳理了六种 LoRA 适配器融合机制与参数调优实践,为多任务微调权重的低成本组合提供了标准参考。
来源:Hugging Face · huggingface.co