AI360
资讯
首页
专栏
快讯
应用中心
API 平台
#
状态化模型
1 篇相关内容
相关话题
推测解码
线性注意力
推理加速
GDN模型
SpecLA:线性注意力模型的高效推测解码方案
研究者提出SpecLA,一种针对状态化线性注意力模型的推测解码运行时系统,通过拓扑感知核验证链与树结构,配合目标对齐的EAGLE风格草稿器,在GDN-1.3B模型上实现最高1.7倍端到端加速。
a
arXiv
·
10 小时前
推测解码
线性注意力
推理加速
状态化模型
a