AI360
资讯
首页
专栏
快讯
应用中心
API 平台
#
并行解码
1 篇相关内容
相关话题
扩散模型
推理优化
KV缓存
大语言模型
Polestar:解决扩散大模型推理效率瓶颈,无需训练实现性能突破
研究者提出Polestar框架,通过监测表征漂移现象,同时优化KV缓存与解码并行化,在数学与代码任务上实现最高3.7倍吞吐量提升。
a
arXiv
·
3 天前
扩散模型
推理优化
KV缓存
并行解码
a