Paper: WizardLM: Empowering LLMs to Follow Complex Instructions (Evol-Instruct)
Authors: Xu et al., 2023
arxiv: 2304.12244
一句话概括
WizardLM提出Evol-Instruct方法，通过让LLM自身充当进化引擎自动将简单指令进化为复杂多样的指令，从而高效生成大规模高质量的指令微调数据。
核心思想
Evol-Instruct的核心机制是”指令进化”：从一组简单的种子指令出发，通过一系列精心设计的进化操作（增加约束条件、深化推理难度、具体化场景描述、增加解题步骤、变换问题角度等）让指令逐步变得更加复杂和多样。每一轮进化都由LLM自身完成，并通过自动过滤机制去除质量不佳的样本。最终得到的指令数据覆盖了从简单到复杂的完整难度谱。
关键创新
1) 定义了一套系统化的指令进化操作符，包括深度进化（增加难度）和广度进化（增加多样性）两个正交维度；2) 使用LLM自身作为进化引擎，实现了全自动化的数据生成闭环；3) 生成的数据在复杂度分布上比手工标注的数据更加均匀合理。
深远影响
Evol-Instruct开创了”用AI系统化地生成AI训练数据”的范式，证明了数据合成不仅可行而且比人工标注更高效。后续的WizardCoder、WizardMath等工作将这一方法成功推广到代码生成和数学推理领域。
启发与思考
进化的力量在于系统化地探索问题空间。Evol-Instruct的成功深刻表明，比起随机生成海量数据，有结构地精细控制数据的复杂度梯度和多样性覆盖更为关键。”质量乘以多样性”才是数据的真正核心价值。