稀疏训练

研究人员提出MCF-MOE框架，通过融合跨层语义聚合与局部词元交互信息，解决混合专家模型中路由决策不一致问题，显著提升语言建模与理解性能。