DeepSeek开源MoE通信库DeepEP,专为高效训练与推理设计
在开源周第二天,DeepSeek正式推出DeepEP——首个面向MoE(混合专家)模型训练与推理的开源EP通信库。该库针对高性能计算场景进行了全面优化,具备高效的全对全通信能力,同时支持节点内与节点间通信,兼容NVLink与RDMA技术。DeepEP提供了高吞吐量的训练与推理预填充内核,以及低延迟的推理解码内核,并原生支持FP8调度。此外,该库还具备灵活的GPU资源控制功能,可实现计算与通信的高效重叠,进一步提升整体性能。开发者可通过GitHub获取相关代码与文档。