多特征融合新突破：非线性交叉注意力提升非侵入式脑语义重建

近日，一项发表于arXiv的研究在非侵入式脑语义重建领域取得重要进展。传统语义解码器通常仅依赖静态词汇表征或动态语境表征的单一维度，导致信息严重丢失，难以匹配人脑同时整合稳定词汇属性和动态语境的能力。为突破这一瓶颈，研究团队创新性地提出了多特征融合框架，系统比较了线性朴素拼接与非线性多头交叉注意力两种融合策略。该框架通过交互门控机制，将静态词汇表征（如Word2Vec）与动态语境表征（如GPT）进行互补融合，模拟语言理解过程中的协同处理机制。在语义重建和文本生成实验中，研究揭示了清晰的性能层级：交叉注意力>拼接>GPT>Word2Vec。其中，非线性交叉注意力融合方法表现最优，达到当前最先进水平。这表明神经语言解码受益于模拟语境信息与核心词汇属性间的协同调制，而非依赖孤立特征。该研究不仅深化了对大脑语言处理机制的理解，还为非侵入式脑到文本解码提供了切实可行的技术路径，有望推动脑机接口在自然语言交互领域的发展。