多语言大模型存在语言锚定现象:代码切换揭示隐藏规律
多语言大语言模型在实际应用中常需处理代码切换输入,但混合语言往往导致性能显著下降。为探究这一现象,研究团队通过语法强制的代码切换构建诊断环境,提出“锚定偏差”几何度量方法,量化隐藏状态更接近源语言还是目标语言的倾向。实验发现,不同模型均呈现一致的语法框架效应:源语言框架的代码切换保持源语言锚定,而目标语言框架的代码切换则向目标语言偏移,且问答任务性能下降更明显。基于此表征规律,团队开发了CANVAS推理时干预技术,该方法从输入中提取源语言画布,在预填充阶段将目标语言隐藏状态软性引导至源语言锚点。测试表明,CANVAS能在多种模型和代码切换条件下稳定恢复问答F1分数,证明内部锚定信号可为缓解混合语言推理失败提供有效干预靶点。这项研究为提升多语言模型跨语言鲁棒性提供了新视角。