DeepSeek-V3/R1推理系统技术揭秘：单节点吞吐量达7.3万token/秒

在开源周系列活动的第六天，DeepSeek深度求索官方披露了其最新模型V3/R1的推理系统技术细节。该系统通过三大核心技术优化实现了显著的性能提升：采用跨节点EP驱动的批量扩展机制，有效协调多节点计算资源；实现计算与通信的智能重叠，减少等待时间；部署动态负载均衡策略，确保资源高效利用。

官方公布的在线服务数据显示，单个H800节点在推理过程中，输入token处理速度达到每秒73.7千个，输出token生成速度为每秒14.8千个，系统整体成本利润率高达545%。这些数据表明DeepSeek在推理系统优化方面取得了突破性进展。

DeepSeek团队表示，希望通过分享这些技术洞察为开源社区创造价值，并推动通用人工智能的共同发展。技术文档提供了更深入的架构分析，可供开发者进一步研究参考。