知识图谱加持:小语言模型推理能力提升新路径

arXiv·4 天前

虽然大语言模型在零样本推理任务中表现出色,但其部署成本高、能耗大的问题限制了实际应用。相比之下,小语言模型虽具可持续性优势,但在需要复杂多跳逻辑推理的任务中容易出错。最新研究提出了一种创新的神经符号智能体框架,通过知识图谱工具增强小语言模型的推理能力。

该研究以Gemma 3(1B、4B参数)和Llama 3.2(3B参数)为实验对象,在CLUTRR亲属关系推理基准上进行测试。框架将小语言模型转化为简约智能体,配备两个专用工具:extract_facts用于提取符号化三元组事实,get_hint则通过关系图卷积网络提供专家级推理提示。

研究设置了两种实验场景:在Oracle场景中使用真实三元组,在Realistic场景中依赖模型自行提取的知识。结果显示,虽然RGCN提供的提示使性能比仅使用故事的基线提升1.5-2倍,但系统仍受限于提取瓶颈和顺序推理的脆弱性——早期提取错误会在多跳推理链中不断累积。

有趣的是,研究还发现特定架构中存在“干扰效应”:即使有专家提示,模型自行生成的噪声事实仍会降低性能。这项工作揭示了低资源智能体系统中符号接地的挑战,为神经符号智能体流水线中的迭代验证提供了技术路线图。

小语言模型知识图谱神经符号AI推理增强模型优化

原文来源:https://arxiv.org/abs/2607.14149

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架

← 返回