大模型“涌现式错位”是真实现象还是数据假象？

近期有研究报道了“涌现式错位”现象，即语言模型在特定领域错位数据上微调后，会突然获得广泛的错位行为，并显示这种行为可通过有限的重对齐逆转。为验证这一现象的稳健性，研究人员通过控制微调循环系统研究了重复对齐与错位周期，同时跟踪行为表现和LoRA表征变化。

实验成功复现了涌现式错位现象，但发现错位与重对齐都对数据集表面特征高度敏感。当控制回答长度差异后，先前报道的快速重对齐现象基本消失。研究还发现，先前报道的机制特征（包括LoRA空间中的表征相变）在训练过程中并不始终与行为错位相关。

这些结果表明，当前对涌现式错位的证据可能不如先前声称的那样稳健，凸显了需要开发能仔细控制数据集表面伪影的评估协议，以准确识别该现象的真实性。该研究对理解大模型对齐过程的本质具有重要意义，提醒研究社区在评估模型行为变化时需更严谨地考虑数据集的潜在偏差。