Hugging Face·· 2024-10-08精选AI 评分65
Transformers 4.45.0 引入动态推测解码，文本生成速度提升最高达 2.7 倍
Faster Assisted Generation with Dynamic Speculation
AI 导读
Hugging Face 联合 Intel Labs 推出动态推测解码技术，并在 Transformers 4.45.0 中将其设为辅助生成的默认运行模式，最高可实现 2.7 倍的文本生成加速。
推荐理由
通过置信度动态截断草稿 token 生成，能为在本地运行大模型推理的开发者提供无需改动代码的低延迟优化方案。
来源：Hugging Face · huggingface.co