Paper: Self-Instruct: Aligning Language Models with Self-Generated Instructions
Authors: Wang et al., 2022
arxiv: 2212.10560
一句话概括
Self-Instruct提出了让语言模型自主生成指令-回答训练数据的自举方法，大幅降低了指令微调训练对人工标注的依赖成本。
核心思想
利用175条人工编写的种子指令任务作为初始示例，让能力强大的语言模型（如GPT-3 text-davinci）以few-shot方式自动生成新的指令描述、对应输入和期望输出。通过自动化的质量筛选（格式过滤、ROUGE去重等）得到高质量的指令微调数据集。用这种方式生成的52K指令数据微调原始GPT-3后，其指令跟随能力大幅提升并接近InstructGPT的水平。本质上实现了指令微调能力的自举式提升。
关键创新
提出了完整的自举式指令数据生成框架和流水线；大幅降低了指令微调训练对昂贵人工标注的依赖；以实验证明了模型自生成的数据可以有效反哺训练模型自身；直接启发了后续Alpaca、Evol-Instruct等大量重要工作。
深远影响
开创了利用大语言模型生成训练数据的重要研究范式，极大降低了对齐训练的资源和成本门槛。直接启发了Stanford Alpaca项目和整个开源指令微调模型的蓬勃生态。合成数据已成为大模型训练中不可或缺的重要数据来源。
启发与思考
AI可以帮助改善和训练自身——这种自举循环思想蕴含着强大的潜力。数据获取的传统瓶颈可以通过创造性的技术方法来突破。但同时需要审慎警惕合成数据可能带来的质量偏差和模型能力坍缩风险。种子数据的质量和多样性从根本上决定了生成数据的质量上限。