语言模型能否从“不可能语言”中重建自然语言？信息局部性效应揭秘

信息局部性指句法相关的词语倾向于在文本中位置接近，这一特性深刻影响着人类语言处理和语言模型的学习。以往研究多关注语言模型能否学会“不可能语言”，但模型能否从这类输入中重建自然语言，以及这背后反映了怎样的归纳偏好，尚不明确。本研究创新地采用重建框架，对已在三种局部性被扰动的“不可能语言”上预训练的GPT-2模型进行微调，使其重建自然英语。结果显示，模型恢复出的结构比原始文本具有更短的依存距离，这反映了语言模型在无约束生成中表现出的局部性偏好，为架构偏见提供了量化证据，这是单纯的可学习性实验所无法揭示的。恢复难度随局部性破坏程度增加而上升。结构恢复（依存三元组F1）与表层恢复（精确匹配）出现分离，而在全局打乱条件下，流利度与忠实重建也发生解耦。句子长度进一步调节性能：当局部结构得以保留时，较长句子有助于恢复；但在全局打乱下，长句会导致重建完全崩溃。最后，恢复难度与不同扰动类型下的可学习性难度高度相关，表明信息局部性是同时制约两者的共同约束。