模型压缩

研究者提出BIRD自推理蒸馏方法，通过两阶段训练让大模型在保持准确率的同时大幅压缩推理步骤，在数学基准测试中实现效率与精度的双提升。

研究者提出轨迹感知知识估计方法TAKE，可将文本数据集压缩至原规模的0.1%同时保持下游任务性能，为数据密集型NLP研究提供高效解决方案。

研究团队通过交互分解方法，统一解释了知识蒸馏在大型语言模型中的有效机制，并提出一种新的损失函数以提升蒸馏性能。

研究人员提出SeKV，一种分辨率自适应的语义KV缓存系统，通过分层存储和按需重建机制，在减少53.3%GPU内存的同时保持模型性能，解决长上下文推理中的内存瓶颈问题。

Google DeepMind发布TurboQuant算法，通过极端压缩技术大幅提升AI模型运行效率，为边缘计算与低功耗场景带来突破性解决方案。

研究者提出基于因果归因的剪枝方法CAP，通过评估注意力头对推理任务的实际贡献进行精细权重剪枝，在保持模型性能的同时显著降低计算成本。