Intel Gaudi 获得更快的辅助生成支持

Hugging Face 在 Optimum Habana 中为 Intel Gaudi 处理器适配并优化了辅助生成（Assisted Generation）技术。该方案结合量化与 KV cache 支持推测采样，在保证与自回归采样相同质量的前提下，在大型 Transformer 模型上通常可实现约 2x 的生成加速，用户配置 assistant_model 参数即可启用。