#

推测解码

4 篇相关内容
相关话题推理加速强化学习Together AI线性注意力状态化模型GDN模型参数高效微调语言模型计算效率推理优化开源框架模型优化

SpecLA：线性注意力模型的高效推测解码方案

研究者提出SpecLA，一种针对状态化线性注意力模型的推测解码运行时系统，通过拓扑感知核验证链与树结构，配合目标对齐的EAGLE风格草稿器，在GDN-1.3B模型上实现最高1.7倍端到端加速。
·5 小时前推测解码线性注意力推理加速状态化模型
a

参数高效微调草案生成遭遇瓶颈：并行推理加速新思路受挫

研究者提出基于PEFT的块扩散草案生成方法，试图通过轻量适配器加速语言模型推理，但实验表明该方法未能实现实际加速效果。
·6 天前推测解码参数高效微调推理加速语言模型
a

Aurora 开源框架发布：让推测解码从静态优化变为持续自进化

Together AI 推出开源强化学习框架 Aurora，可将推测解码从一次性离线配置转变为持续自我改进的系统，实现推理性能动态优化。
·27 天前推理优化开源框架推测解码强化学习
T

Together AI 推出分布感知推测解码，RL训练后推理速度提升50%

Together AI发布分布感知推测解码技术，针对强化学习训练后的推理瓶颈，可实现高达50%的加速且保持奖励质量无损。
·27 天前推理加速推测解码强化学习Together AI
T