Hugging Face·· 2023-05-15精选AI 评分70
Hugging Face transformers 库正式集成 RWKV 架构
Introducing RWKV - An RNN with the advantages of a transformer
AI 导读
Hugging Face 宣布在 transformers 库中集成 RWKV 架构，支持开发者直接调用该模型的预训练与对话版本。该架构结合了 Transformer 的并行训练能力与 RNN 推理阶段显存占用恒定的特性，已开放 170M 至 14B 参数量的 RWKV-4 及微调版 Raven 权重。
推荐理由
文章解析了 RWKV 兼顾并行训练与低显存推理的架构设计，有助于开发者评估线性序列模型在长文本工程中的可行性。
来源：Hugging Face · huggingface.co