#

推理系统

1 篇相关内容
相关话题DeepSeek大模型开源性能优化

DeepSeek-V3/R1推理系统技术揭秘：单节点吞吐量达7.3万token/秒

DeepSeek在开源周第六日公开V3/R1推理系统架构，通过跨节点批量扩展等技术实现高性能推理，单H800节点输入输出吞吐量分别达7.37万和1.48万token/秒。
·27 天前DeepSeek推理系统大模型开源
D