Paper: Scaling Laws for Neural Language Models
Authors: Kaplan et al., 2020
arxiv: 2001.08361
一句话概括
首次系统揭示了语言模型性能与模型规模、数据量、计算量之间存在可预测的幂律关系，为大模型训练提供了科学化的规划指导。
核心思想
通过对不同规模语言模型进行系统的大量实验，发现模型的交叉熵损失与参数量N、训练数据量D、计算量C之间满足平滑的幂律关系：L(N)∝N^(-α)。性能随规模增长呈现平滑且高度可预测的改善趋势。在固定计算预算的约束下，应该优先增大模型参数规模而非投入更多训练数据。模型的具体形状（宽度与深度的比例）对性能的影响则相对较小。
关键创新
首次系统性地量化了语言模型的缩放规律；发现性能与规模的幂律关系在跨越多个数量级范围内稳定成立；提出了基于缩放定律的计算最优资源分配策略；为大模型训练的决策规划提供了可计算的理论框架。
深远影响
使大模型训练从依赖经验和直觉的摸索转向有科学依据的系统性规划。后续Chinchilla论文修正了其中关于数据与参数最优分配比例的结论。缩放定律已成为各大AI实验室规划训练策略和资源投入的核心决策工具，也深刻影响了行业投资判断。
启发与思考
自然界中广泛存在的幂律关系在人工智能领域同样成立。可预测的缩放规律让大规模训练成为可以理性计算的投资而非盲目的赌博。但缩放定律只描述了平均损失的变化趋势，无法准确预测涌现能力何时出现，这提醒我们定量预测工具的固有局限性。