vLLM

研究者提出Kara滑动窗口KV缓存压缩方法，通过动态选择重要KV对并扩展为语义块，显著降低大模型推理时的内存占用，提升吞吐量。

Hugging Face推出新功能，用户仅需一条命令即可在Jobs服务中启动vLLM推理服务器，极大简化了大型语言模型的部署流程。