Paper: Active Retrieval Augmented Generation (FLARE)
一句话概括
FLARE在生成过程中主动检测低置信度内容并触发检索,实现前瞻性的主动检索增强生成。
核心思想
在逐步生成文本的过程中,FLARE持续监控生成token的概率。当检测到低置信度的token(概率低于阈值)时,将即将生成的内容作为查询触发新一轮检索。检索到的相关文档被用于重新生成低置信度部分,确保生成内容有据可依。
关键创新
提出基于生成置信度的主动检索触发机制;使用未来待生成内容作为检索查询(前瞻式);在生成过程中动态多次检索而非仅检索一次;无需专门训练即可应用于现有LLM。
深远影响
FLARE引入了主动检索的概念,突破了传统RAG只在生成前检索一次的局限。其基于置信度的检索触发机制启发了后续多种动态检索策略的设计。
启发与思考
FLARE的核心洞察是:长文本生成中不同部分对外部知识的需求是不同的。按需检索比预先一次性检索更加合理,这对生成长文档和复杂报告的应用场景尤其有价值。