扩散大语言模型

研究人员提出轨迹对齐蒸馏方法，通过监督模型自身去噪轨迹，显著提升扩散大语言模型的数学推理能力，计算效率提升近百倍。

研究者提出SLIM-RL方法，通过风险预算解码器控制扩散大语言模型训练中的承诺风险，在多项数学与代码基准测试中超越现有轨迹感知方法，且无需重建推理轨迹。

研究发现扩散大语言模型对查询位置极为敏感，位置偏差对生成质量的影响与示例语义质量相当。团队提出Auto-ICL自适应路由策略，无需训练即可优化查询放置。