KV缓存

研究者提出Polestar框架，通过监测表征漂移现象，同时优化KV缓存与解码并行化，在数学与代码任务上实现最高3.7倍吞吐量提升。

研究人员提出KV-PRM方法，通过直接读取LLM生成阶段产生的KV缓存，将过程奖励模型的评分计算复杂度从O(L²)降至O(L)，在多智能体长序列任务中实现高达5000倍的计算效率提升。

研究人员提出SeKV，一种分辨率自适应的语义KV缓存系统，通过分层存储和按需重建机制，在减少53.3%GPU内存的同时保持模型性能，解决长上下文推理中的内存瓶颈问题。