阿里开源训练优化技术：MoE模型全局批次负载均衡新方案

混合专家（MoE）架构已成为扩展大模型参数规模的主流技术方案。该架构通常包含路由器和专家组两大核心组件：路由器通常采用单线性层参数化，专家组则由多个前馈网络层构成。在推理过程中，系统仅激活部分专家模块，并根据路由器分配的分数聚合各专家输出结果。

近日，通义千问团队在开源社区发布了一项创新训练优化技术，重点解决MoE模型训练中的负载不均衡问题。该技术通过优化全局批次调度策略，在几乎不增加额外计算开销的前提下，实现专家激活的智能分配。传统训练过程中，特定专家可能因负载过高成为性能瓶颈，而新技术能动态平衡各专家的计算负担。

这项优化特别适用于Transformer基座的MoE模型训练场景，可有效提升训练稳定性和资源利用率。团队已在GitHub、Hugging Face、ModelScope等平台开放相关代码实现，为业界大模型训练提供了新的技术选择。该方案的提出标志着国产大模型在训练基础设施领域取得重要进展。