月之暗面开源 Kimi K3 模型权重及技术报告,2.8T MoE 模型支持原生视觉与百万上下文
月之暗面(Kimi)正式宣布开源其最新旗舰模型 Kimi K3 的模型权重与技术报告。Kimi K3 被描述为该公司目前能力最强的模型,采用混合专家(MoE)架构,参数量达 2.8T。该模型具备原生视觉理解能力,并支持高达 100 万 token 的上下文窗口。
官方强调,Kimi K3 采用了新的模型架构,实现了单位计算量下 2.5 倍的智能提升,而不仅仅是参数量的增加。除了模型本身,月之暗面还同步开源了支撑该模型的一系列技术栈,包括高性能注意力计算内核、MoE 通信库,以及用于大规模运行智能体环境的基础设施。
此举旨在推动 AI 社区在大型模型研发与应用方面的协作与创新。相关模型权重、技术报告及技术博客的链接已一并公开。