MoE

研究者提出Loopie系列模型，通过创新的循环Transformer架构与专家混合设计，在同等计算预算下显著超越传统Transformer基线，并在国际数学与物理奥赛中展现金牌级推理能力。

英伟达开源MoE（混合专家）优化工具，通过集成专家并行、DeepEP和TransformerEngine技术，显著提升大模型微调效率。

DeepSeek在开源周期间发布首个开源EP通信库DeepEP，专为MoE模型训练与推理优化，支持高性能通信与灵活资源控制。

知名开发工具厂商JetBrains推出其首个开源大模型Mellum2，采用混合专家架构，专注于代码生成与编程辅助任务。