文本生成

研究发现LLM生成文本在n-gram分布上呈现简单而一致的模式，揭示了其在文学风格上的缺陷，并指出风格与语义问题无法完全分离。

研究提出掩码扩散语言模型作为文本世界模型，通过双向去噪机制克服自回归模型的局限，在智能体强化学习中实现更优的环境模拟与任务执行能力。

最新研究揭示了扩散语言模型通过双向注意力机制实现上下文学习，其内部电路能同时利用前后文信息进行文本生成，与自回归模型形成鲜明对比。

研究人员提出自适应多步前瞻解码框架AdaLook，通过动态调整前瞻深度和分支扩展，显著提升扩散语言模型的解码效率与质量平衡。

研究者探索利用提示学习自动生成学术论文亮点，实验发现ChatGPT结合提示模板的表现可媲美传统监督方法，且无需领域特定训练数据。

一项系统性实验研究对八种前沿扩散语言模型在推理、编程、翻译等八项基准任务上的表现进行了全面评估，揭示了扩散模型在生成质量与计算效率之间的权衡关系。