MoE模型

研究人员提出StickyMoE训练方法，通过引入路由一致性损失函数，减少相邻token间专家切换频率，从而降低边缘设备推理时的内存交换开销，在保持模型性能的同时显著提升推理效率。

阿里云通义千问团队开源一项MoE大模型训练优化技术，通过全局批次负载均衡策略，显著提升混合专家模型训练效率。

通义千问团队正式推出Qwen2.5-Max模型，聚焦超大规模混合专家模型的智能提升路径，为行业提供新的技术探索方向。