Interview: HyDE(假设文档嵌入)为什么有时候比直接查询更有效？它的失败场景是什么？
题目解析
HyDE(Hypothetical Document Embeddings)的核心思路是：不直接用用户查询做检索，而是先让LLM生成一个”假设性答案”，然后用这个假设答案的embedding去检索真实文档。这个看似绕弯的方法在很多场景下确实优于直接查询，原因值得深入分析。
解答思路
HyDE更有效的原因：1）查询-文档语义鸿沟——用户的短查询(如”怎么防止过拟合”)和文档的详细描述(“正则化、dropout、数据增强等技术可以缓解…“)在嵌入空间中距离较远，而假设答案与真实文档在语义上更接近；2）查询扩展效果——LLM生成的假设答案会自然包含相关术语和概念，起到查询扩展的作用；3）文档-文档匹配比查询-文档匹配更容易——embedding模型通常在相似文本对上训练，同类型文本的匹配更准确。
关键要点
- HyDE不需要假设答案是正确的——只需要在嵌入空间中与正确文档接近
- 失败场景一：事实性查询（如”苹果公司2024年Q3营收”），LLM可能生成错误数字导致嵌入偏移
- 失败场景二：高度专业化领域，LLM无法生成合理的假设文档
- 失败场景三：多义查询，LLM的假设可能锁定在错误的语义方向
加分回答
可以讨论HyDE的变体和改进：1）生成多个假设文档取平均嵌入，增加鲁棒性；2）Multi-Query方法——用LLM将原始查询改写为多个不同角度的子查询并行检索，类似HyDE但更灵活；3）Step-back Prompting——先让LLM提出更高层次的问题再检索，结合了抽象化和HyDE的思路。还可以分析为什么HyDE在zero-shot场景下(无训练数据)特别有效。
常见踩坑
- 对所有查询无差别使用HyDE——简单的关键词查询直接检索反而更好
- 忽略了HyDE增加了一次LLM调用的延迟(通常200-500ms)
- 假设文档太长导致嵌入信息过于分散——通常2-3句话最佳