Test-Time Compute测试时计算
一句话总结
Test-Time Compute通过在推理阶段投入更多计算资源（如多次采样、搜索验证），以计算换取更好的输出质量。
核心概念
核心思想是推理时的计算量不固定，根据问题难度自适应调整。主要策略包括：多次采样+投票（Best-of-N）、搜索+验证（生成候选后用验证器评分）、迭代精炼（反复修改答案）、思维链延长（更详细的推理步骤）。o1模型是Test-Time Compute的典型代表，通过在推理时进行更长的”思考”来提升复杂推理能力。这打破了传统的”训练时计算”为主的范式。
为什么重要
当训练时Scaling遇到瓶颈时，Test-Time Compute提供了新的能力提升路径。它允许用更小的模型配合更多推理计算达到大模型的效果，具有更好的灵活性和成本效率。
实践要点
并非所有任务都值得增加推理计算，简单任务直接输出即可。验证器的质量决定了搜索策略的效果上限。需要在延迟、成本和质量间找到平衡。可根据任务难度动态调整计算预算。
常见误区
认为增加推理计算总能线性提升效果，实际存在收益递减。忽视验证器本身的可靠性问题。低估多次采样带来的延迟和成本倍增。