信息局部性

研究通过微调在“不可能语言”上预训练的GPT-2模型，探究语言模型从信息局部性被破坏的输入中恢复自然英语的能力，揭示了模型对局部性结构的归纳偏好。