OpenAI 研究发现深度神经网络中的“深度双重下降”现象

OpenAI 研究表明深度双重下降现象在 CNN、ResNet 和 Transformer 架构中广泛存在，模型性能随着模型规模、数据量或训练时间增加会呈现先提升、后恶化、再提升的变化趋势。该效应通常可通过精细的正则化手段避免。尽管这种表现具有普适性，其底层原因仍未被完全理解，是持续探索的重要研究方向。