Paper: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
一句话概括
RAG将预训练检索器与生成模型结合，通过检索相关文档来增强生成质量，开创了检索增强生成的范式。
核心思想
将知识密集型NLP任务分解为检索和生成两个阶段：首先用密集检索器从知识库中检索相关文档，然后将检索到的文档作为上下文输入生成模型。提出RAG-Sequence和RAG-Token两种变体，分别在序列级和token级整合检索结果。
关键创新
首次提出端到端的检索增强生成框架；将非参数化记忆（检索库）与参数化记忆（模型权重）结合；知识库可热更新无需重训练模型；在多个知识密集型基准上超越纯生成模型。
深远影响
RAG论文奠定了整个检索增强生成领域的基础，成为该领域最重要的开创性工作。几乎所有后续的检索增强方法都建立在RAG的基本框架之上，深刻影响了LLM应用的架构设计。
启发与思考
RAG的核心洞察是将知识存储与推理能力解耦。这一思想在大模型时代愈发重要——面对快速变化的知识和私有数据，检索增强比反复微调更加实用和经济。