内存效率

研究人员提出VarRate，一种无需训练的KV缓存压缩方法，通过为每个token分配可变低秩预算，在保持所有token信息的同时显著减少内存占用。

研究者提出结构化思维框架，将推理过程分为探索性草稿与精炼结论交替模块，通过微调使模型掌握结构化推理能力，在数学推理任务中性能提升达8.08%，同时实现85%的上下文内存节省。

研究者提出Kara滑动窗口KV缓存压缩方法，通过动态选择重要KV对并扩展为语义块，显著降低大模型推理时的内存占用，提升吞吐量。