GPT-2

研究通过微调在“不可能语言”上预训练的GPT-2模型，探究语言模型从信息局部性被破坏的输入中恢复自然英语的能力，揭示了模型对局部性结构的归纳偏好。

研究人员分析多个GPT-2变体模型发现，预训练模型存在可复用的结构化权重谱特征，但将其作为初始化信号时，仅模仿组件级光谱特征并未带来显著性能提升。