Hugging Face·· 2023-05-11精选AI 评分79
Hugging Face 推出 Assisted Generation 解码方案以降低文本生成延迟
Assisted Generation: a new direction toward low-latency text generation
AI 导读
Hugging Face 在 Transformers 库中引入 Assisted Generation 解码方法，利用轻量辅助模型生成候选 token 并由主模型单次前向传播并行确认，以此缓解内存带宽瓶颈并降低生成延迟。
推荐理由
读者可以了解利用小模型生成候选与大模型并行验证的机制，在消费级硬件及显存卸载场景下显著降低推理延迟。
来源：Hugging Face · huggingface.co