Hugging Face Papers·· 22 小时前AI 评分40
Library of Layers(LoL):在运行时自适应排序 Transformer 层
Library of Layers (LoL): Adaptively Ordering Transformer Layers at Runtime
AI 导读
新型架构 Library of Layers(LoL)在推理时动态排列 Transformer 块,实现参数复用、计算稀疏性与可解释路由。该架构仅含一个块库大小超参数,统一了稠密、深度循环和混合专家架构的效率权衡,文本预训练表现比肩三类基线。实验显示其能根据任务解题策略与语言自适应切换层顺序,路由输出探测还能以高 AUROC 区分安全与不安全文本。
来源:Hugging Face Papers · huggingface.co