Hallucination幻觉问题与缓解
一句话总结
幻觉是LLM生成看似合理但事实错误内容的现象，是影响LLM可信度和实用性的核心挑战。
核心概念
幻觉分类：事实性幻觉（编造不存在的事实）、忠实性幻觉（与给定上下文矛盾）。产生原因包括：训练数据中的噪声和矛盾、模型过度泛化、知识截止日期后的信息缺失、解码过程中的随机性。缓解策略：RAG增强（用检索提供事实依据）、引用生成（要求附带来源）、自洽性检查（多次生成比对）、事实检验模型（专门检测幻觉的分类器）、知识图谱约束。
为什么重要
幻觉是阻碍LLM在医疗、法律、金融等高风险领域应用的最大障碍。用户无法区分正确和幻觉内容，可能导致严重的决策错误。
实践要点
关键领域必须结合RAG提供事实依据。要求模型输出置信度并标注不确定性。建立自动事实检验流水线。降低解码温度可减少幻觉但降低多样性。明确告知用户AI输出需要人工验证。
常见误区
认为更大的模型就不会幻觉，实际大模型幻觉更难察觉因为更”自信”。指望通过prompt消除幻觉，这只能缓解不能根治。忽视检索增强中检索质量对幻觉的影响。