大语言模型新发现：句子级上下文同化现象

近日，arXiv平台发布的一项研究揭示了大语言模型（LLMs）中一种新的行为模式——句子级上下文同化（Contextual Entrainment）。此前研究已发现模型倾向于赋予上下文中出现过的词汇更高概率，而本次工作将这一现象扩展至句子层面，通过分析句子的平均对数概率而非单个词汇概率进行验证。

研究团队在涵盖主观与客观任务的两种数据集上，测试了来自7个不同系列的26个大语言模型。结果表明，句子级上下文同化现象普遍存在：即使提示中包含反事实陈述，这些句子在模型推理阶段的生成概率也会显著提升。有趣的是，随着模型规模增大，同化效应逐渐减弱。

进一步分析发现，该现象主要由2%至4%的注意力头控制。实验证实，关闭这些注意力头可有效缓解上下文同化，且不影响模型整体性能。这一发现为理解大语言模型内部机制提供了新视角，也为优化模型生成可控性提供了潜在路径。