检索增强生成新突破:双置信度对比解码法解决多文档冲突
在检索增强生成(RAG)的实际应用中,模型经常需要基于多个检索文档回答问题,但这些文档可能包含过时、噪声甚至相互矛盾的证据。现有方法主要关注模型内部记忆与检索上下文之间的冲突,而忽视了多文档内部的证据矛盾问题。
针对这一挑战,研究团队提出了双置信度对比解码(DCCD)方法。该方法无需额外训练,通过结合文档级置信度(评估单个文档是否足够回答问题)和词元级置信度(评估文档是否支持下一个词的预测),智能选择正负文档条件流进行对比解码。
为评估该方法,研究人员创建了DRQA基准测试,该数据集源自企业深度研究场景,包含专门设计的合成企业事实,确保答案无法从模型内部记忆中直接获取。实验结果显示,在DRQA和标准多文档问答基准上,DCCD在完整上下文和对比解码基线方法中取得了最佳平均性能,尤其在DRQA上提升最为显著。
这项研究强调了当检索证据存在内部冲突时,采用基于信源的置信度门控解码策略的重要性,为提升RAG系统在实际复杂场景中的可靠性提供了新思路。