ITNet：统一卷积、注意力和循环的通用可学习积分变换网络

在深度学习领域，卷积神经网络、循环神经网络和Transformer长期以来被视为具有不同数学基础与归纳偏置的独立架构。然而，一项最新研究揭示，这些模型实际上源于同一个底层数学对象——可学习的积分变换。研究团队提出了积分变换网络（ITNet），其核心是一个可学习的核函数，该核通过一个小型神经网络（如MLP）建模位置与特征间的成对交互，从而能够从数据中自适应地学习处理模式。

理论分析表明，在特定参数化条件下，ITNet能够退化为卷积、自注意力（包括多头机制）以及自回归循环结构（如LSTM、GRU、S4和Mamba），并证明其具备连续算子的通用逼近能力。为实现高效计算，研究者开发了分块核融合、重要性加权的蒙特卡洛积分以及可学习的低秩分解等技术。

实验部分显示，仅使用单一ITNet架构配合轻量级模态编码器，在ImageNet-1K图像分类、GLUE自然语言理解、ModelNet40点云处理、VQA v2视觉问答及NLVR2视觉推理等多个基准任务上，其性能均达到或超越了专门设计的基线模型。这一成果表明，通过数据驱动学习统一的交互机制，能够有效涵盖并替代传统分散的架构设计，为构建更通用、灵活的神经网络提供了新思路。