ColGraphRAG：多模态图检索增强生成中的延迟交互证据检索新方法

在多模态问答系统中，如何有效检索和利用结构化证据图中的视觉信息一直是技术难点。传统基于单向量双编码器的相似度计算方法往往忽略图像块和标记级别的细粒度结构信息，导致视觉证据检索精度受限。

最新研究提出的ColGraphRAG方法创新性地采用延迟交互的多向量评分机制，借鉴ColBERT/ColPali系列模型的设计思路，专门针对图结构中的图像节点进行优化。该方法在保持离线图构建、文本表格检索、结构化抽取和下游推理模块不变的前提下，仅替换视觉候选排序算子，就实现了检索性能的显著提升。

在MultimodalQA基准测试中，该方法不仅提高了图关联图像候选的检索阶段点估计值，还带来了下游问答准确率的整体增益。特别是在视觉证据至关重要的场景下，改进效果更为明显。虽然该方法在文本主导问题上表现存在差异，但研究团队认为这为图关联视觉证据的有效整合提供了机制层面的实证支持。未来研究将继续深入验证该方法，并开发更精细的图级别诊断工具。