Interview: RoPE相比绝对位置编码和ALiBi各有什么优劣？RoPE为什么能支持长度外推？
题目解析
位置编码是Transformer的核心组件之一，直接影响模型处理序列的能力。这道题考察候选人对三种主流位置编码方案的深入理解，特别是RoPE在长度外推方面的数学原理。当前LLM处理长上下文是热门方向，理解位置编码的设计权衡至关重要。
解答思路
绝对位置编码（学习式或正弦式）将位置信息直接加到embedding上，简单但无法泛化到训练长度之外。ALiBi不修改embedding，而是在attention score上加线性偏置，天然支持长度外推但缺乏对相对位置的精细建模。RoPE通过旋转矩阵将位置信息编码到Q和K中，使得内积自然包含相对位置信息：q_m·k_n仅依赖于m-n。
关键要点
RoPE的数学本质：将d维向量视为d/2个二维子空间，对每个子空间施加角度为m·θ_i的旋转（θ_i=10000^(-2i/d)）。内积的旋转不变性保证了注意力仅依赖相对位置。长度外推的关键在于：旋转操作本身对任意位置m都有定义，不像学习式编码那样受限于训练时的最大位置。通过NTK-aware插值等方法可以进一步增强外推能力。
加分回答
讨论RoPE的频率设计：低频分量（大θ_i）编码粗粒度位置信息，高频分量编码细粒度位置关系。YaRN等长度外推方法的核心思想是在频域上做不同程度的插值。还可以提到RoPE的局限：在极长序列上注意力分数会因高频振荡而不稳定，这也是为什么需要NTK插值而非简单线性插值。
常见踩坑
常见错误是认为RoPE天生就能外推——原始RoPE在超出训练长度时性能同样会下降，需要配合位置插值技术。另一个误区是认为ALiBi完全不如RoPE——ALiBi在短序列上表现良好且实现更简单，在某些场景下是合理选择。不要忽略ALiBi的线性偏置等价于对距离施加指数衰减attention。