Hugging Face Transformers 正式集成 Perceiver IO 多模态架构

Hugging Face 在 Transformers 库中正式集成了 Perceiver IO 模型，能够统一处理文本、图像、音频、视频和光流等多种模态。该架构通过在固定维度的潜在变量上进行自注意力计算，将计算和显存开销与输入尺寸解耦，消除了传统 Transformer 计算复杂度随输入二次方增长的限制。官方同时上线了相关任务的代码实现类、在线演示与教程 Notebook。