Paper: Learning to Reason with LLMs (o1 System Card Analysis)
一句话概括
OpenAI o1模型通过大规模强化学习训练LLM在回答前进行长时间的内部推理（思维链），在数学、编程和科学推理等任务上达到了前所未有的水平。
核心思想
o1的核心突破在于训练模型学会”慢思考”——在生成最终答案之前，产生一个可能很长的内部思维链。通过大规模强化学习，模型学会了何时深入思考、何时回溯重试、何时分解问题、何时验证中间结果。关键的训练策略包括过程奖励模型对推理步骤的监督，以及test-time compute的大量投入。推理链越长，模型在困难问题上的表现越好，呈现出test-time compute的scaling law。
关键创新
1) 首次大规模将RL应用于训练LLM的推理能力；2) 发现了test-time compute的scaling law；3) 在数学竞赛和编程竞赛中达到顶尖人类水平；4) 推理过程中展现出自我纠错和策略调整能力；5) 开创了”推理模型”这一新范式。
深远影响
o1标志着LLM发展从”预训练scaling”到”推理scaling”的范式转变。它证明了通过训练推理过程可以显著超越仅靠预训练扩展所能达到的水平，深刻影响了整个AI行业的研发方向。
启发与思考
o1最令人兴奋的不只是性能提升，而是它展示的”学会思考”的可能性。模型不再只是快速的模式匹配，而是学会了真正的”推理”。但隐藏的思维链也带来了可解释性和安全性的新挑战。