利用投机解码将 Whisper 推理速度提升 2 倍

Hugging Face 展示了如何将投机解码应用于 Whisper 语音转录，在保证输出完全一致的前提下将推理速度提升 2 倍。在英语场景中，使用 6 倍速的 distil-large-v2 作为辅助模型仅增加 8% 显存即可实现 2.2 倍加速，多语种搭配 Whisper tiny 也可提速 1.9 倍。该方案最适合较小的 batch size，当批大小超过 4 时加速收益会逐渐消失。