预训练Loss曲线分析与诊断
一句话总结
通过分析预训练loss曲线的形态和异常模式，可以诊断数据质量、学习率设置和训练配置等问题，是大模型训练的核心监控手段。
核心概念
健康的loss曲线应呈平滑下降趋势：warmup阶段快速下降，中期稳定下降，后期趋于平缓。常见异常模式包括：(1)loss突刺(spike)——突然上升后恢复，通常由数据异常或梯度爆炸引起；(2)loss平台(plateau)——长期不下降，可能是学习率过低或数据重复；(3)loss发散(divergence)——持续上升，通常是学习率过高或数值不稳定；(4)loss震荡——波动过大，batch size可能过小。除训练loss外还应监控验证loss以检测过拟合。
为什么重要
大模型预训练耗时数周到数月，无法等到训练完成再评估。Loss曲线是训练过程中最实时的反馈信号，能帮助及早发现问题并采取措施。经验丰富的工程师能通过loss曲线的微小特征判断数据配比、模型架构是否合理。
实践要点
建议同时监控：训练loss、验证loss、梯度范数、学习率、token吞吐量。用WandB或TensorBoard可视化。梯度范数突增通常是loss突刺的前兆。如果loss在某个值附近长期停滞，尝试调整数据混合比例或学习率。不同数据类型(代码、数学、自然语言)的loss下降速度不同，建议分别监控。
常见误区
误区一：只关注训练loss忽视验证loss。训练loss下降但验证loss不降说明过拟合或数据泄露。误区二：对loss突刺过度紧张。小幅突刺在大模型训练中很常见且通常能自行恢复。误区三：用loss绝对值比较不同模型，loss与tokenizer和数据分布相关，不同配置下不可直接对比。