Paper: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
一句话概括
DeepSeek-R1通过纯强化学习（无需SFT冷启动）激发LLM的推理能力，性能媲美OpenAI o1，且完全开源，揭示了RL在推理能力涌现中的核心作用。
核心思想
DeepSeek-R1的最大突破是R1-Zero——直接在基座模型上应用GRPO强化学习算法，不需要任何监督微调数据作为冷启动。仅通过奖励信号（答案正确性+格式规范），模型自发涌现出了长思维链、自我验证、反思和纠错等推理行为。完整的R1模型在此基础上加入少量冷启动SFT数据进一步提升稳定性和可读性，最终在数学、编程和推理任务上达到与o1可比的水平。此外，将R1的推理能力蒸馏到小模型中也取得了优异效果。
关键创新
1) 证明纯RL可以从零激发推理能力，无需SFT冷启动；2) 推理行为（反思、验证、纠错）在RL训练中自发涌现；3) GRPO算法高效稳定；4) 完全开源模型权重，推动领域发展；5) 蒸馏技术让小模型也获得强推理能力。
深远影响
DeepSeek-R1的开源打破了推理模型的技术壁垒，证明了非顶级资源也能训练出顶级推理模型。它揭示了RL在LLM推理能力中的本质作用，推动了整个开源社区对推理模型的研究热潮。R1-Zero的发现尤其深远——推理能力可能是RL的自然产物。
启发与思考
DeepSeek-R1最深刻的启示是：复杂的推理能力可以通过简单的RL奖励信号自然涌现，不需要显式教授推理步骤。这与人类认知发展有着有趣的平行——我们也是通过不断试错和反馈来学会思考的。开源精神更是赢得了全球AI社区的尊重。