#

混合专家

2 篇相关内容
相关话题基础模型多语言模型开源AI德国AIDeepSeek大语言模型长上下文开源模型

德英双语开源混合专家模型Soofi S发布，30B参数仅激活3B

研究人员推出Soofi S 30B-A3B，这是一款面向德语和英语的开源混合专家基础模型，采用Mamba-Transformer混合架构，在长上下文场景下具有显著推理效率优势。
·8 天前基础模型混合专家多语言模型开源AI
a

DeepSeek-V4预览版发布：支持百万令牌上下文的高效MoE模型

深度求索推出DeepSeek-V4系列预览版，包含两款混合专家模型，均支持百万令牌上下文，在长文本处理效率上实现显著突破。
·31 天前DeepSeek大语言模型混合专家长上下文
D