Aurora 开源框架发布：让推测解码从静态优化变为持续自进化

近日，Together AI 正式发布了名为 Aurora 的开源强化学习框架，该框架旨在革新推测解码技术的应用模式。传统推测解码通常依赖一次性离线训练的静态推测器，性能在部署后便固定不变。而 Aurora 创新性地将推测解码转变为一种持续自我优化的在线学习系统。该框架能够从服务的每一个实际推理请求中实时学习，动态调整推测策略，从而在服务过程中不断自我改进。官方数据显示，经过 Aurora 优化后的推测解码器，其推理速度可比训练良好的静态推测器提升 1.25 倍。这一突破意味着大模型推理服务有望实现性能的持续自主进化，为降低推理延迟和成本提供了新的技术路径。Aurora 的开源也将促进社区在高效推理技术领域的进一步探索与创新。