Paper: Tree of Thoughts: Deliberate Problem Solving with Large Language Models
一句话概括
Tree of Thoughts将语言模型的推理过程从线性链条扩展为树状搜索结构，允许模型探索多条推理路径、评估和回溯，实现更深层的问题求解。
核心思想
CoT是单一线性推理路径，一旦某步出错就无法纠正。ToT将推理组织为树结构：每个节点是一个”思维”（中间推理状态），模型可以生成多个候选思维进行分支探索，使用BFS或DFS搜索策略，并通过LLM自身评估每个状态的前景来决定探索方向，必要时回溯到之前的状态重新探索。
关键创新
1) 将经典AI搜索算法（BFS/DFS）与LLM推理结合；2) 让LLM既是思维生成器又是状态评估器；3) 支持前瞻和回溯，突破了自回归生成的单向限制；4) 在需要规划和探索的任务上表现突出。
深远影响
ToT证明了将传统AI规划方法与LLM结合的巨大潜力。它启发了更多将搜索、规划与语言模型结合的研究，为构建更强大的推理系统指明了方向。
启发与思考
ToT的核心启示是：好的推理不是一条直线，而是一个探索过程。人类解决难题时也会尝试不同方向、评估可行性、适时放弃和回溯。将这种”审慎思考”的能力赋予LLM是迈向更强智能的重要一步。