交通预测新发现:提取全局空间信息,未必需要Transformer

arXiv·6 天前

在交通预测领域,现有模型普遍致力于提取空间依赖性,尤其是刻画交通网络中每个节点与所有其他节点交互的全局空间信息。然而,这种全局信息究竟应如何建模和提取,其内在机制尚未得到充分探究。一个核心问题是:全局信息是否必须由高自由度的自适应注意力机制来提取,还是可以被一个简单的全局聚合算子有效捕获?

为此,研究者设计了一个受控的消融实验框架,仅替换空间混合模块来测试基于注意力的全局交互效果。在六个主流交通预测基准数据集上的实验结果表明,采用均匀的全范围混合算子与标准的空间注意力机制各有胜负,分别在三个数据集上取得了更低的平均绝对误差(MAE),且两者平均MAE仅相差0.14%。关键优势在于,前者将节点级空间混合的计算复杂度从O(N²)降低到了O(N)。

进一步的机制分析将空间注意力分解为一个行均匀的全局背景和一个非均匀的残差部分。研究发现,残差部分带来的提升具有数据集依赖性,其边际价值有限。这表明,空间注意力机制的应用,应当建立在能够稳定超越一个简单的行均匀全局背景所带来的收益之上,否则其复杂性可能并非必要。该研究的源代码已在GitHub上开源。

交通预测空间注意力Transformer计算复杂度机器学习

原文来源:https://arxiv.org/abs/2607.12462

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架

← 返回