扩散语言模型

最新研究揭示了扩散语言模型通过双向注意力机制实现上下文学习，其内部电路能同时利用前后文信息进行文本生成，与自回归模型形成鲜明对比。

研究人员提出自适应多步前瞻解码框架AdaLook，通过动态调整前瞻深度和分支扩展，显著提升扩散语言模型的解码效率与质量平衡。

研究者提出TAG-DLM方法，将文本推理与图消息传递统一在扩散语言模型中，通过拓扑注意力掩码实现图结构注入，仅需修改提示即可适应节点分类、链接预测等多种任务。

一项系统性实验研究对八种前沿扩散语言模型在推理、编程、翻译等八项基准任务上的表现进行了全面评估，揭示了扩散模型在生成质量与计算效率之间的权衡关系。