模型训练

arXiv发布开源PyTorch库OpenLanguageModel，通过模块化设计让小型语言模型的架构代码直观如教科书，支持从教学到完整预训练的无缝迁移。

在WAIC 2026上，摩尔线程首次公开多项大模型训练与推理实践成果，并展示其三大“AI工厂”如何持续释放国产算力价值。

研究者提出“内省微调”方法，让小型语言模型学会检测自身内部激活的扰动，Llama-1B模型准确率从9.6%提升至60.6%。

研究发现生成模型的可调控范围存在“预算”，其中大部分只能通过展示示例而非调节参数来实现，这一发现为AI模型控制提供了新思路。

研究者提出OriginBlame系统，实现记录级和令牌级数据溯源，帮助模型训练者精准识别数据贡献者，大幅减少数据删除范围，提升模型遗忘效率。

研究团队通过扩大模型规模至40亿参数，成功构建了消除未来信息泄露的点时间语言模型，在多项基准测试中接近主流开放权重模型的性能水平。

研究者提出一种基于严格启动验证的自蒸馏方法，通过执行成功率筛选训练样本，使14B参数模型在陌生游戏家族的生成成功率从8.8%提升至42.2%，验证了‘验证器即课程’的核心观点。

研究人员提出StickyMoE训练方法，通过引入路由一致性损失函数，减少相邻token间专家切换频率，从而降低边缘设备推理时的内存交换开销，在保持模型性能的同时显著提升推理效率。

研究区分了合成数据扩展的两种路径：固定源合成与源扩展，发现大预算下增加种子问题优于重复生成回答，为合成协议比较提供了可控框架。

研究人员提出过程记忆蒸馏方法，让语言模型在训练过程中自动提取并内化跨任务的行为模式，实现参数层面的自我改进。实验显示该方法在多个基准测试中显著优于现有自蒸馏技术。

研究发现，在临床FHIR环境中应用强化学习面临两大结构障碍：能力天花板与格式知识壁垒，导致纯RL效果显著落后于规则微调。

研究发现大型语言模型智能体在多轮对话中难以更新已变更的事实，导致依赖过时信息。研究者创建训练环境Supersede，通过强化学习成功提升模型的事实更新能力。

研究者提出ATOD混合训练算法，通过退火调度机制结合策略蒸馏与强化学习，显著提升小模型智能体在长程交互任务中的性能表现。

DeepSeek在开源周期间发布首个开源EP通信库DeepEP，专为MoE模型训练与推理优化，支持高性能通信与灵活资源控制。

DeepSeek在开源周第四天发布两项关键并行优化技术：双向流水线并行算法DualPipe和专家并行负载均衡器EPLB，专门针对V3/R1模型训练的计算-通信重叠优化。

Hugging Face团队在TRL库中推出Delta权重同步功能，通过仅上传模型权重变化而非全部参数，大幅降低大规模模型训练时的存储与同步开销。

通义千问团队发布QwQ-32B模型，重点探索强化学习在大语言模型训练中的扩展潜力，旨在通过RL技术提升模型的推理与复杂任务处理能力。

针对现有强化学习算法在长周期训练中易出现模型崩溃的问题，通义千问研究团队提出新型GSPO算法，旨在为大语言模型的规模化强化学习训练提供稳定基础。

研究团队提出一种优化LLM偏好对齐训练效率的新方法，通过智能筛选最有信息量的比较对，在相同标注预算下显著提升模型性能。