DiscoLoop：双通道循环架构突破大模型多步推理瓶颈

大语言模型通过思维链（CoT）外显中间步骤时展现出强大的推理能力，但许多问题需要在单次前向传播中内化多步推理才能生成答案。最新研究聚焦于两跳推理这一代表性任务，模型需在单次前向中组合多个参数化知识片段。

传统非循环Transformer存在深度局部存储问题：早期层学习到的事实信息在第二跳检索位置时已不可用。循环Transformer通过复用相同内存缓解了这一问题，但泛化能力仍不完善。研究发现剩余瓶颈在于表征层面——在两跳推理任务中，第一循环通常能近乎完美地解码出正确的桥接实体，但对应的隐状态仍与桥接词嵌入对齐不佳。

令人惊讶的是，一种无需训练的简单重对齐干预几乎能完全消除泛化差距。基于此发现，研究者提出DiscoLoop循环架构，其循环机制同时携带离散嵌入通道和连续隐状态通道。在符号与合成语言的多跳推理任务中，DiscoLoop以更少的训练步骤实现了近乎完美的准确率。应用于真实世界预训练时，该架构相比循环Transformer基线获得了更低的训练损失和更强的基准性能，表明混合通道设计可迁移至实际语言建模场景。