多模态知识图谱增强生成迎来专用评测基准:MKG-RAG-Bench
随着知识图谱增强生成(RAG)技术成为提升大语言模型准确性的重要手段,多模态知识图谱的检索难题日益凸显。现有评测基准大多忽略多模态知识在跨模态对齐、异构数据融合等方面的特殊挑战,导致检索环节成为系统性能提升的关键瓶颈。
为此,研究团队构建了首个专门针对多模态知识图谱RAG检索环节的跨领域评测基准MKG-RAG-Bench。该基准基于通用和医疗两大领域的多模态知识图谱构建,通过大语言模型驱动的数据筛选流程,自动过滤低价值知识节点,生成结构化的监督式查询数据集,系统覆盖了文本、图像等多种模态组合场景。
实验显示,在多模态知识检索任务中,传统面向非结构化文本设计的检索器表现显著受限,检索质量与最终生成效果呈现强相关关系。该基准通过将检索环节作为独立评估目标,为诊断现有系统局限、推动多模态知识图谱RAG技术发展提供了标准化评测框架。研究团队表示,未来将扩展更多垂直领域数据集,持续跟踪检索技术在复杂多模态场景下的演进。