GPT系列架构演进(GPT-1到GPT-4)
一句话总结
从GPT-1到GPT-4，OpenAI通过持续扩大规模、改进训练方法和引入RLHF对齐，将自回归语言模型从学术原型推进到通用AI系统。
核心概念
GPT-1(2018)：1.17亿参数，首次证明预训练+微调范式在NLP任务上的有效性。GPT-2(2019)：15亿参数，展示了zero-shot能力，证明足够大的语言模型无需微调即可完成任务。GPT-3(2020)：1750亿参数，开创了in-context learning(上下文学习)范式。GPT-3.5/ChatGPT(2022)：引入RLHF对齐，使模型遵循指令并安全对话。GPT-4(2023)：多模态能力，支持图像输入，推理能力显著提升，据推测采用了MoE架构。
为什么重要
GPT系列的演进路线代表了大模型发展的核心脉络：规模化带来涌现能力，对齐技术让模型可控有用。每一代GPT都定义了当时的技术前沿和产品范式。
实践要点
GPT架构本质是decoder-only Transformer，核心改进包括：Pre-Norm替代Post-Norm提升训练稳定性，使用学习的位置编码(后续模型改用RoPE)。复现GPT时关注训练数据配比和清洗流程往往比架构细节更重要。
常见误区
误区一：认为GPT的成功纯靠堆参数，忽视了数据工程、训练技巧和对齐技术的关键作用。误区二：把GPT-4等同于纯粹的参数量增长，GPT-4很可能在架构上(如MoE)有实质创新。误区三：忽视RLHF在GPT-3到ChatGPT跨越中的关键作用。