Loopie：迄今最强循环Transformer模型，IMO/IPhO金牌表现无需工具

arXiv平台最新研究论文介绍Loopie系列模型，这是目前性能最强的循环Transformer架构。该系列包含两个基于专家混合（MoE）的模型：一个200亿参数（活跃参数20亿）的大模型与一个60亿参数（活跃参数6亿）的轻量版本。

长期以来，循环Transformer面临核心挑战：在预训练计算量增加N倍的情况下，通常直接扩大模型参数规模比将模型循环N次效果更好。Loopie通过创新的架构设计成功突破了这一瓶颈。大量消融实验表明，在与传统300亿参数模型（活跃30亿）同等计算资源下，Loopie性能显著超越基准模型。

研究团队还开发了新颖的后训练流程，赋予Loopie强大的推理能力。在2025年国际数学奥林匹克（IMO）和国际物理奥林匹克（IPhO）的测试中，Loopie在不借助外部工具的情况下达到了金牌表现水平，展示了其在复杂逻辑推理任务上的突破性进展。