Interview: RMSNorm相比LayerNorm去掉了什么？为什么去掉均值中心化反而更好？
题目解析
RMSNorm是现代LLM的标配归一化方案（LLaMA、Mistral等），它去掉了LayerNorm中的均值中心化步骤。这道题看似简单，实则考察候选人对归一化层工作原理的深入理解——去掉均值中心化为什么不会损害性能，这需要从数学和实验两个维度给出解释。
解答思路
LayerNorm：y=(x-μ)/σ·γ+β，包含均值中心化（减均值）和方差归一化（除标准差）两步。RMSNorm：y=x/RMS(x)·γ，其中RMS(x)=√(mean(x²))，只做缩放不做平移。去掉均值中心化减少了计算开销（省去求均值和减均值的操作），同时实验表明对模型性能几乎没有影响。
关键要点
为什么去掉均值中心化可行：(1)重要的是重缩放（re-scaling）而非重中心化（re-centering），缩放操作保证了输入的数值范围稳定，这是梯度健康流动的关键；(2)均值中心化引入了维度间的耦合——减去均值使得各维度不再独立，这可能限制模型的表达能力；(3)在深层网络中，均值本身可以被后续层的偏置参数吸收。计算优势：省去了一次reduce操作和一次逐元素减法，在GPU上减少了kernel launch和内存访问。
加分回答
从数学角度深入分析：RMS(x)=√(μ²+σ²)，当均值为0时RMSNorm与LayerNorm等价。实际中均值通常接近0（尤其在残差连接之后），所以两者的差异很小。还可以提到有些实现中LayerNorm也去掉了β偏置项（如LLaMA的RMSNorm实现），进一步减少参数。最新的研究还探索了动态RMSNorm等变体。
常见踩坑
常见错误是说RMSNorm的优势仅在于计算效率——虽然效率提升确实存在，但更重要的是实验证明去掉均值中心化不损害性能，这才是采用的前提。另一个坑是混淆RMSNorm和BatchNorm的区别——RMSNorm是在特征维度上操作，BatchNorm是在batch维度上操作，完全不同的归一化方式。