当Transformer学会'不可能'语言时，它究竟掌握了什么？

近期研究显示，Transformer语言模型在处理人类语言时表现出明显偏好，而对于理论上人类无法习得的'不可能'语言，现有研究多基于样本效率或测试集困惑度的差异进行判断，缺乏对其语言能力的直接评估。为深入探究这一问题，研究人员训练了基于GPT-2架构的模型，使用经过扰动的'不可能'英语变体进行训练，并通过BLiMP最小对比对测试模型的语法敏感度。结果表明，模型性能仅呈现渐进式下降，且受语言信息局部性的调节。然而，这些模型在生成任务中表现出明显不足，生成长度较长的高质量句子数量大幅减少。综合来看，生成能力的缺陷和传播失败可能是解释语言模型行为与'不可能'语言未被证实之间关联的合理假设。这项研究不仅揭示了Transformer在处理非自然语言时的内在机制，也为理解人类语言习得的边界提供了新的理论依据。