并行计算

英伟达开源MoE（混合专家）优化工具，通过集成专家并行、DeepEP和TransformerEngine技术，显著提升大模型微调效率。

月之暗面发布 Kimi K2.6 智能体集群，支持 300 个并行子智能体，单次运行步数提升至 4000 步，可生成文件、长篇文献综述及数据集。

DeepSeek在开源周第四天发布两项关键并行优化技术：双向流水线并行算法DualPipe和专家并行负载均衡器EPLB，专门针对V3/R1模型训练的计算-通信重叠优化。

最新基准测试显示，当前最先进的大语言模型在87项真实多GPU计算任务中，仅能完成不到三分之一的高效内核编写，但部分生成代码已超越公开实现。