FLAMIA：面向 Blackwell 的快速且因果安全训练微缩放注意力机制

FLAMIA 是一套面向 NVIDIA Blackwell GPU 的注意力核，通过 MXFP8 与混合 NVFP4/FP8 路径加速 Transformer 训练并防止因果泄漏。在因果打包文档负载下，包含量化的前向与反向联合计算在 B200 上提速 1.10–1.40 倍，在 B300 上提速 1.06–1.42 倍。该方案已在预训练 Llama 风格模型上验证了训练稳定性和质量。