Paper: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
一句话概括
通过在提示中加入中间推理步骤(思维链),大语言模型能够显著提升在复杂推理任务上的表现,这一发现改变了我们使用LLM的方式。
核心思想
标准提示直接给出问题和答案,模型只能模仿直觉式跳跃。Chain-of-Thought(CoT)提示在示例中展示完整的推理过程——分步思考、逐步推导。模型学会了这种推理模式后,在面对新问题时也会自发地生成中间步骤,从而大幅提升数学、逻辑和常识推理能力。
关键创新
1) 发现仅通过改变提示格式就能解锁模型推理能力;2) 证明CoT是一种涌现能力,只在足够大的模型中出现;3) 中间步骤提供了可解释的推理路径;4) 方法极其简单——只需在示例中写出思考过程。
深远影响
CoT彻底改变了提示工程的方向,成为后续所有推理增强方法的基础。从此”让模型一步一步思考”成为标准做法。它也启发了Tree-of-Thoughts、Self-Consistency等一系列推理增强工作。
启发与思考
CoT揭示了一个深刻洞察:模型的能力可能远超我们通过简单提示所观察到的。正确的引导方式能释放隐藏的能力。这让我们思考:还有多少能力被锁在模型中,等待被正确的提示方式唤醒?