Quantization-Aware Healing：4-bit 压缩模型性能反超全精度版本

研究团队提出 Quantization-Aware Healing（QAH）方法，使经结构压缩与 4-bit 量化的大模型性能反超其全精度版本。在将 GPT-OSS 120B 压缩至 60B 并量化至 MXFP4 的实验中，QAH 模型在 9 个基准测试中有 7 个击败对应的 bfloat16 版本。该方法直接从原始全尺寸模型蒸馏，并通过分块损失支持 32k tokens 上下文修复。