#

混合专家模型

1 篇相关内容
相关话题Transformer路由机制上下文建模稀疏训练

多层级上下文建模提升MoE专家选择一致性

研究人员提出MCF-MOE框架，通过融合跨层语义聚合与局部词元交互信息，解决混合专家模型中路由决策不一致问题，显著提升语言建模与理解性能。
·10 小时前混合专家模型Transformer路由机制上下文建模
a