RoPE旋转位置编码
一句话总结
RoPE通过将位置信息编码为旋转矩阵作用于query和key向量，优雅地实现了相对位置编码，并支持良好的长度外推。
核心概念
RoPE(Rotary Position Embedding)的核心思想是将位置m的token的query/key向量按维度两两配对，每对乘以旋转矩阵R(mtheta_i)，其中theta_i = 10000^(-2i/d)。这样内积q_m^T * k_n自然包含位置差(m-n)的信息，实现相对位置编码。数学上等价于在复数域中将每对维度看作复数，乘以e^(im*theta)进行旋转。不同频率theta_i捕捉不同尺度的位置关系：低频分量编码远距离依赖，高频分量编码近距离依赖。
为什么重要
RoPE相比学习的绝对位置编码有更好的长度泛化能力。相比传统相对位置编码(如ALiBi)，RoPE在性能上更优且与注意力机制兼容性好。配合NTK-aware插值或YaRN等技术，可以将上下文从4K扩展到100K+。
实践要点
RoPE实现时通常只对query和key施加旋转，value不变。长度外推时常用方法包括：线性插值(将位置索引缩放)、NTK-aware插值(调整基础频率)、YaRN(混合多种策略)。实际推理时RoPE的计算开销很小，可预计算旋转矩阵缓存使用。
常见误区
误区一：认为RoPE天然支持任意长度外推。实际上超出训练长度后性能会下降，需要额外的外推技术。误区二：将RoPE的旋转操作理解为普通的位置加法编码。RoPE是乘性的，本质不同于原始Transformer的加法位置编码。误区三：忽视不同维度的频率差异对长距离建模的影响。