推理优化

研究者提出BIRD自推理蒸馏方法，通过两阶段训练让大模型在保持准确率的同时大幅压缩推理步骤，在数学基准测试中实现效率与精度的双提升。

研究人员提出VarRate，一种无需训练的KV缓存压缩方法，通过为每个token分配可变低秩预算，在保持所有token信息的同时显著减少内存占用。

在WAIC 2026上，摩尔线程首次公开多项大模型训练与推理实践成果，并展示其三大“AI工厂”如何持续释放国产算力价值。

研究者提出Polestar框架，通过监测表征漂移现象，同时优化KV缓存与解码并行化，在数学与代码任务上实现最高3.7倍吞吐量提升。

研究者提出结构化思维框架，将推理过程分为探索性草稿与精炼结论交替模块，通过微调使模型掌握结构化推理能力，在数学推理任务中性能提升达8.08%，同时实现85%的上下文内存节省。

研究人员提出StickyMoE训练方法，通过引入路由一致性损失函数，减少相邻token间专家切换频率，从而降低边缘设备推理时的内存交换开销，在保持模型性能的同时显著提升推理效率。

研究者提出HALO方法，通过自适应选择部分关键token进行二次推理，让冻结的预训练大模型以更少的计算成本获得更强的推理能力。

研究人员提出GATS规划框架，通过分层世界模型与系统化树搜索相结合，在推理阶段完全无需调用大语言模型，显著降低计算成本并实现确定性规划。

研究者提出Kara滑动窗口KV缓存压缩方法，通过动态选择重要KV对并扩展为语义块，显著降低大模型推理时的内存占用，提升吞吐量。

研究者提出C3RL强化学习算法，解决大模型在强化学习训练后自信度与准确性脱钩的问题，并基于校准后的自信度开发动态推理策略CAS，最高可减少12倍计算开销。

研究人员推出专为苹果芯片设计的原生Metal推理运行时BaseRT，在Qwen3、Llama 3.2等模型上实现比现有方案最高1.56倍的解码吞吐量提升，为边缘设备AI推理提供新方案。

研究团队发现语言模型在推理时经常“过度思考”，产生无益的自我反思。他们提出DASH方法，通过评估推理片段的价值来减少无效思考，在数学竞赛基准测试中显著提升准确率。

研究者提出GradeSQL框架，通过训练结果奖励模型对文本转SQL任务进行测试时验证，在BIRD和Spider基准测试中显著优于传统启发式方法。

研究团队提出LearnStop早退机制，在18个任务场景测试中发现：学习型停止规则在自由格式数学任务中表现优异，但在选择题等场景下，传统置信度阈值仍具竞争力。

研究发现，显式推理未必提升多模态情感识别准确率，快思维直接作答常优于慢思维深思熟虑。MER-R1框架通过强化学习融合二者优势，实现精准率与召回率的协同优化。

研究者提出局部分支路由（LBR）框架，通过轻量级路由机制在推理时扩展局部前瞻树，在数学推理任务中超越了传统思维链方法。

研究发现，压缩模型输出可有效降低推理成本，而压缩用户输入反而会增加总成本并损害准确性。

研究者提出策略引导策略优化方法，通过提炼可复用的推理策略而非单纯模仿解题步骤，显著提升语言模型的泛化推理能力。

DeepSeek在开源周期间发布首个开源EP通信库DeepEP，专为MoE模型训练与推理优化，支持高性能通信与灵活资源控制。

深度求索发布DeepSeek-V3.1模型，首次引入Think与Non-Think混合推理模式，标志着向智能体时代迈出重要一步。新模型在推理速度和智能体任务能力上均有显著提升。

DeepSeek官方提醒用户，早期版本的DeepSeek-V3.2-Exp推理演示存在RoPE实现不匹配问题，可能影响模型性能，目前已修复。

Together AI 推出开源强化学习框架 Aurora，可将推测解码从一次性离线配置转变为持续自我改进的系统，实现推理性能动态优化。

Together AI公布最新推理基准测试，其编码代理在吞吐量、首字延迟和成本方面均显著优于TensorRT-LLM与Claude Opus 4.6。

研究发现多语言大模型处理混合语言输入时性能下降，源于隐藏状态存在语言锚定效应；团队提出CANVAS干预方法，可有效恢复问答准确率。

研究人员提出CacheWeaver方法，通过智能排序检索证据来提升RAG推理效率，在保持答案质量的同时将首词生成时间降低约20-33%。

研究者提出GRACE理论框架，揭示了验证粒度与计算预算的动态关系，证明在困难问题或充足算力下细粒度验证更优，反之粗粒度更佳。自适应策略在数学推理基准上提升准确率3.1%。