大模型服务

研究者提出Kara滑动窗口KV缓存压缩方法，通过动态选择重要KV对并扩展为语义块，显著降低大模型推理时的内存占用，提升吞吐量。