Interview: LLM知识更新：RAG、CPT与知识编辑的适用场景
题目解析
LLM的参数化知识在训练完成后即固定，但现实世界的知识不断变化。如何让模型保持知识的时效性是LLM落地的核心挑战之一。RAG、继续预训练（CPT）和知识编辑是三种主要方案，各有优劣和适用场景，需要根据具体需求特点选择最合适的方案或组合策略。
解答思路
三种方案对比：1）RAG：将最新知识存入外部检索库，推理时动态检索后拼接到上下文中。适合频繁更新的事实类查询场景，实现简单且知识可追溯，但增加推理延迟和上下文长度；2）CPT：用新数据继续预训练更新模型参数。适合需要大规模领域知识注入的场景，知识融入更深入但成本高且有灾难性遗忘风险；3）知识编辑（如ROME、MEMIT）：精确修改模型中的特定知识点。适合少量事实纠正，但可扩展性差且可能引发知识连锁错误。
关键要点
实际应用中推荐RAG作为默认方案：实现成本低、知识来源可追溯、更新几乎实时。CPT适合模型换代或领域适配的一次性大规模知识注入。知识编辑目前技术成熟度最低，仅适合非常有限的事实修改场景。三者可以组合使用形成互补体系。
加分回答
讨论RAG和参数化知识的决策边界——高频使用的核心知识适合通过CPT内化到参数中，长尾的、时效性强的知识适合RAG外挂。提到Self-RAG让模型自主判断何时需要检索的前沿技术方向，以及知识冲突时的处理策略。
常见踩坑
过度依赖RAG导致所有查询都走检索链路，增加延迟和成本且影响对话流畅性；CPT后未充分评估对原有通用能力的影响；知识编辑后未验证相关联知识的一致性导致矛盾输出。