上下文学习

最新研究揭示了扩散语言模型通过双向注意力机制实现上下文学习，其内部电路能同时利用前后文信息进行文本生成，与自回归模型形成鲜明对比。

本文系统梳理了非平稳环境中上下文强化学习的最新进展，探讨智能体如何在参数固定的情况下，通过上下文推断动态变化的决策规则。

研究首次系统探索语言模型在百万令牌规模下的上下文检索能力，提出BlockSearch模型并通过注意力机制改进，在多项基准测试中媲美甚至超越传统检索方法。

研究者提出基于自函数向量的新框架，首次实现对上下文学习中随机不确定性的精确量化，为提升大模型预测可靠性提供新工具。

研究发现扩散大语言模型对查询位置极为敏感，位置偏差对生成质量的影响与示例语义质量相当。团队提出Auto-ICL自适应路由策略，无需训练即可优化查询放置。