跳到正文
原文
Hugging Face·· 2026-01-20AI 评分44

Differential Transformer V2

Differential Transformer V2

AI 导读

Differential Transformer V2(DIFF V2)正式公开,通过将 Query 头翻倍但保持 KV 头数量不变,无需自定义注意力算子即可达到媲美标准 Transformer 的解码速度。该版本还移除了 V1 中的逐头 RMSNorm,解决了大规模预训练时的梯度暴增与数值不稳定问题,并可消除注意力黑洞,相关代码已在 GitHub 开源。

来源:Hugging Face · huggingface.co