多语言大模型存在语言锚定现象:代码切换揭示隐藏规律

arXiv·31 天前

多语言大语言模型在实际应用中常需处理代码切换输入,但混合语言往往导致性能显著下降。为探究这一现象,研究团队通过语法强制的代码切换构建诊断环境,提出“锚定偏差”几何度量方法,量化隐藏状态更接近源语言还是目标语言的倾向。实验发现,不同模型均呈现一致的语法框架效应:源语言框架的代码切换保持源语言锚定,而目标语言框架的代码切换则向目标语言偏移,且问答任务性能下降更明显。基于此表征规律,团队开发了CANVAS推理时干预技术,该方法从输入中提取源语言画布,在预填充阶段将目标语言隐藏状态软性引导至源语言锚点。测试表明,CANVAS能在多种模型和代码切换条件下稳定恢复问答F1分数,证明内部锚定信号可为缓解混合语言推理失败提供有效干预靶点。这项研究为提升多语言模型跨语言鲁棒性提供了新视角。

多语言大模型代码切换语言锚定推理优化arXiv

原文来源:https://arxiv.org/abs/2606.19668

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架

← 返回