Together AI 推出分布感知推测解码，RL训练后推理速度提升50%

在强化学习训练后阶段，推理过程往往成为性能瓶颈。Together AI近日推出的分布感知推测解码技术，通过自适应推测解码机制有效解决了这一问题。该技术能够将推理速度提升最高达50%，同时确保模型输出的奖励质量不发生任何下降。DAS技术通过分析输出分布，智能预测后续token序列，从而减少计算延迟，特别适用于需要大规模部署的强化学习应用场景。这一突破有望显著降低AI模型在实际应用中的推理成本和时间开销。