PyTorch 性能分析实战第三篇：拆解多种注意力机制的底层算子与性能差异

Hugging Face 发布 PyTorch 性能分析系列教程第三篇，深入拆解了手写注意力与 SDPA 四大后端在 GPU 上的算子执行轨迹与开销。分析表明将 masked_fill 改为原地操作可直接消除一次内存拷贝，而 SDPA 的 math 后端因回退至普通 CUDA 核心并反复重建掩码会导致单次前向发射 20 个 kernel。