Paper: LIMA: Less Is More for Alignment
Authors: Zhou et al., 2023
arxiv: 2305.11206
一句话概括
LIMA仅用1000条精心策划的高质量指令数据微调LLaMA-65B，就获得了出色的对齐效果，有力证明了对齐训练中数据质量远比数量更关键。
核心思想
提出了影响深远的”表层对齐假说”（Superficial Alignment Hypothesis）：模型的知识和核心能力几乎完全在海量预训练阶段习得，对齐训练的本质作用只是教会模型以用户期望的格式、风格和交互方式来输出其已有的知识能力。因此，只需少量但精心挑选的高质量示例就能实现良好的对齐效果。团队从Stack Overflow、wikiHow和Reddit等来源精心策划了1000条涵盖多种任务类型的高质量指令-回答对，无需RLHF即可完成有效对齐。
关键创新
正式提出并以实验验证了”表层对齐假说”这一重要理论洞察；以仅1000条数据就实现了令人信服的对齐效果；展示了精心人工策划数据选择的巨大价值；证明了无需复杂的RLHF流程也能获得良好的基础对齐效果。
深远影响
根本改变了研究社区对对齐训练所需数据量的认知和预期。促使研究者重新深入思考预训练阶段和对齐阶段各自承担的能力分工。为资源有限的团队提供了高效完成基础对齐的切实可行路径。推动了高质量对齐数据策划方法论的研究和实践。
启发与思考
预训练赋予模型核心能力，对齐引导模型的表达方式。就像一个知识渊博的学者只需要简短的沟通指导就能学会如何向公众通俗地解释专业知识。这意味着资源投入应当集中在预训练数据的质量提升和对齐数据的精心策划上，而非盲目堆砌对齐训练的数据量。