月之暗面开源 Kimi K3 模型权重及技术报告,2.8T MoE 模型支持原生视觉与百万上下文

月之暗面(Kimi)正式宣布开源其最新旗舰模型 Kimi K3 的模型权重与技术报告。Kimi K3 被描述为该公司目前能力最强的模型,采用混合专家(MoE)架构,参数量达 2.8T。该模型具备原生视觉理解能力,并支持高达 100 万 token 的上下文窗口。

官方强调,Kimi K3 采用了新的模型架构,实现了单位计算量下 2.5 倍的智能提升,而不仅仅是参数量的增加。除了模型本身,月之暗面还同步开源了支撑该模型的一系列技术栈,包括高性能注意力计算内核、MoE 通信库,以及用于大规模运行智能体环境的基础设施。

此举旨在推动 AI 社区在大型模型研发与应用方面的协作与创新。相关模型权重、技术报告及技术博客的链接已一并公开。

大模型模型开源月之暗面MoE计算机视觉

原文来源:https://x.com/Kimi_Moonshot/status/2081760186235289764

相关阅读

Kimi Work 推出金融分析师教程第二期,详解三大投资研究任务
月之暗面启动Kimi全球大使计划:招募社区共建者
Kimi Work推出幻灯片制作功能,AI助手一键生成演示文稿
Kimi发布PerceptionBench基准:从模型失败中提炼原子化视觉能力评估
Kimi K3 模型正式登陆 Together AI 平台

← 返回