Paper: RoFormer: Enhanced Transformer with Rotary Position Embedding
Authors: Su et al., 2021
arxiv: 2104.09864
一句话概括
RoPE通过旋转矩阵将位置信息编码为向量的旋转角度，以数学上优雅的方式自然实现了相对位置编码，并具有良好的长度外推能力。
核心思想
将每个token的绝对位置信息编码为对查询（Q）和键（K）向量施加的旋转操作。位置m处的向量经过角度为mθ的旋转变换后，任意两个位置之间的注意力内积分数自然只依赖于它们的相对距离差值。在嵌入向量的不同维度对上使用不同频率的旋转角度，形成多尺度的位置编码。数学上这等价于在复数空间中进行乘法运算，实现既简洁又高效。
关键创新
旋转操作天然且优雅地编码了相对位置信息；无需引入额外可学习参数，完全通过数学推导得出闭式解；多频率的旋转设计自然捕获了不同尺度的位置关系模式；具有理论上良好的序列长度外推潜力。
深远影响
RoPE已成为LLaMA、Mistral、Qwen、DeepSeek等几乎所有主流开源大模型的标准位置编码方案。其良好的外推性质为后续NTK-aware Scaling、YaRN、LongRoPE等长度扩展方法提供了坚实的理论和实践基础。优雅的数学形式也持续启发着新的位置编码研究方向。
启发与思考
优雅的数学形式往往同时对应着高效的计算实现和优良的理论性质。位置编码是Transformer架构中容易被忽视但对模型性能极为重要的基础组件。中国研究者苏剑林的这一杰出贡献证明了：基础研究的创新不分地域，好的核心想法可以产生深远的全球性影响。