跳到正文
原文
Hugging Face·· 2024-02-19精选AI 评分71

Hugging Face PEFT 支持多种 LoRA 适配器融合新方法

🤗 PEFT welcomes new merging methods

AI 导读

Hugging Face 宣布在 PEFT 库中支持多种针对 LoRA 适配器的融合新方法,允许开发者在运行时动态合并来自同一基模的多个微调权重。新方法涵盖矩阵拼接(cat)、线性加权(linear)、SVD 分解、TIES、DARE 以及幅度剪枝等机制,可通过 add_weighted_adapter() 直接调用。

推荐理由

文章梳理了六种 LoRA 适配器融合机制与参数调优实践,为多任务微调权重的低成本组合提供了标准参考。

来源:Hugging Face · huggingface.co