内存优化

研究人员提出SeKV，一种分辨率自适应的语义KV缓存系统，通过分层存储和按需重建机制，在减少53.3%GPU内存的同时保持模型性能，解决长上下文推理中的内存瓶颈问题。