多模态知识图谱增强生成迎来专用评测基准:MKG-RAG-Bench

arXiv·25 天前

随着知识图谱增强生成(RAG)技术成为提升大语言模型准确性的重要手段,多模态知识图谱的检索难题日益凸显。现有评测基准大多忽略多模态知识在跨模态对齐、异构数据融合等方面的特殊挑战,导致检索环节成为系统性能提升的关键瓶颈。

为此,研究团队构建了首个专门针对多模态知识图谱RAG检索环节的跨领域评测基准MKG-RAG-Bench。该基准基于通用和医疗两大领域的多模态知识图谱构建,通过大语言模型驱动的数据筛选流程,自动过滤低价值知识节点,生成结构化的监督式查询数据集,系统覆盖了文本、图像等多种模态组合场景。

实验显示,在多模态知识检索任务中,传统面向非结构化文本设计的检索器表现显著受限,检索质量与最终生成效果呈现强相关关系。该基准通过将检索环节作为独立评估目标,为诊断现有系统局限、推动多模态知识图谱RAG技术发展提供了标准化评测框架。研究团队表示,未来将扩展更多垂直领域数据集,持续跟踪检索技术在复杂多模态场景下的演进。

知识图谱RAG多模态检索评测基准大语言模型

原文来源:https://arxiv.org/abs/2606.26458

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架

← 返回