自蒸馏

研究者提出BIRD自推理蒸馏方法，通过两阶段训练让大模型在保持准确率的同时大幅压缩推理步骤，在数学基准测试中实现效率与精度的双提升。

研究者提出一种基于严格启动验证的自蒸馏方法，通过执行成功率筛选训练样本，使14B参数模型在陌生游戏家族的生成成功率从8.8%提升至42.2%，验证了‘验证器即课程’的核心观点。

研究人员提出过程记忆蒸馏方法，让语言模型在训练过程中自动提取并内化跨任务的行为模式，实现参数层面的自我改进。实验显示该方法在多个基准测试中显著优于现有自蒸馏技术。

研究者提出PolicyAlign框架，允许大语言模型直接根据自然语言描述的安全政策进行对齐，无需依赖传统的标注数据，在提升安全性的同时保持模型通用能力。