长上下文处理

研究人员提出VarRate，一种无需训练的KV缓存压缩方法，通过为每个token分配可变低秩预算，在保持所有token信息的同时显著减少内存占用。