大模型里的 Loss 到底是什么？

大模型预测下一个 token 时的 Loss（损失）是依据预测和真实答案计算的评价数值，模型给真实答案的概率越高则 Loss 越小。训练过程主要通过 Loss 指导参数调整以降低训练损失，评估整体表现则看多次预测的平均损失。更低的语言建模损失并不直接等于数学解题或编程等能力更强。