知识蒸馏

研究团队通过知识蒸馏技术，将LLaMA 3 8B模型转化为高效的重排器，在RAG系统中实现显著性能提升的同时大幅降低推理成本。

研究团队通过交互分解方法，统一解释了知识蒸馏在大型语言模型中的有效机制，并提出一种新的损失函数以提升蒸馏性能。

研究提出利用大语言模型作为“教师”自动标注训练数据，再训练轻量级“学生”模型的方法，在保持高准确率的同时大幅降低实体匹配任务的数据标注成本与推理延迟。

研究者提出ATOD混合训练算法，通过退火调度机制结合策略蒸馏与强化学习，显著提升小模型智能体在长程交互任务中的性能表现。

研究者提出策略引导策略优化方法，通过提炼可复用的推理策略而非单纯模仿解题步骤，显著提升语言模型的泛化推理能力。