Hugging Face·· 2024-10-29AI 评分58
Hugging Face 联合英特尔推出通用辅助生成 UAG，支持跨模型加速推理解码
Universal Assisted Generation: Faster Decoding with Any Assistant Model
AI 导读
Intel Labs 与 Hugging Face 联合推出通用辅助生成（UAG），突破传统辅助生成对分词器一致的限制，允许任意小模型为不同架构的大模型加速，已在 Transformers 4.46.0 中上线。
来源：Hugging Face · huggingface.co