推理加速

研究者提出SpecLA，一种针对状态化线性注意力模型的推测解码运行时系统，通过拓扑感知核验证链与树结构，配合目标对齐的EAGLE风格草稿器，在GDN-1.3B模型上实现最高1.7倍端到端加速。

研究者提出基于PEFT的块扩散草案生成方法，试图通过轻量适配器加速语言模型推理，但实验表明该方法未能实现实际加速效果。

OpenAI与芯片制造商博通合作发布定制AI芯片Jalapeño，该芯片专为大语言模型推理设计，旨在提升AI系统的性能、能效与扩展性。

月之暗面为其开源多模态编程模型 Kimi K2.7 Code 推出高速模式，在编程任务中可实现最高6倍的速度提升，现已面向测试计划成员、API开发者及商业用户逐步开放。

Together AI发布分布感知推测解码技术，针对强化学习训练后的推理瓶颈，可实现高达50%的加速且保持奖励质量无损。