KV缓存压缩

研究人员提出一种无需训练的双组件KV缓存压缩框架，通过软余弦门控选择性合并相似token，并引入注意力比例补偿机制，在保留25%缓存的情况下实现近无损生成质量。

研究人员提出VarRate，一种无需训练的KV缓存压缩方法，通过为每个token分配可变低秩预算，在保持所有token信息的同时显著减少内存占用。

研究者提出Kara滑动窗口KV缓存压缩方法，通过动态选择重要KV对并扩展为语义块，显著降低大模型推理时的内存占用，提升吞吐量。