TAG-DLM：用扩散语言模型统一文本与图结构学习

文本属性图（TAGs）的每个节点都带有自然语言描述，要求模型能够同时对文本和图拓扑结构进行联合推理。现有方法通常将两种模态分开处理：图神经网络在浅层文本特征上操作，而大语言模型与图的混合方法主要将语言模型用作文本编码器，将结构学习委托给单独的图模块。

近日，arXiv发布的新研究提出TAG-DLM方法，将文本推理与图消息传递统一在掩码扩散语言模型中。该方法为每个图实例将采样的局部邻域线性化为令牌序列，并通过拓扑注意力掩码注入图结构，从而实现在图上的消息传递。由于扩散语言模型既能解释文本又能生成文本，该方法仅需修改提示即可适应不同任务，支持节点分类、链接预测和跨数据集迁移，无需针对特定目标进行微调。

实验表明，该方法在两个任务的三个TAG基准测试中均优于图神经网络、图变换器以及基于大语言模型的基线方法，相比最强基线最高提升3.9个百分点。这一研究为文本与图结构的多模态学习提供了新的统一框架。