语言模型为何“幻觉”？新研究揭示推理偏差根源

语言模型产生“幻觉”回答——即违反提示约束的虚构内容——已成为AI领域的重要挑战。传统观点多将这种现象归因于模型知识缺失，但arXiv最新研究提出不同见解：幻觉可能源于推理过程中的路径偏差。

研究团队将这种现象定义为“推理错位”，即模型在潜在统计关联的驱动下，选择了与提示支持答案相悖的推理路径。通过构建“潜在关键任务模型”，研究者发现预训练数据中的频率失衡会导致模型优先选择“捷径路径”，而非遵循约束敏感路径，从而产生正向推理损失。

为验证这一理论，研究团队开发了TrapQA诊断测试平台，包含两个核心组件：ScientistQA测试科学家实体消歧能力，通过补充事实探针评估模型选择；Real-Life Constrained QA则在日常场景中测试模型面对显著捷径时的约束遵循能力。

实验结果表明，即使模型具备相关知识，也可能因推理偏差而产生幻觉。这一发现为理解语言模型局限性提供了新视角，并提示未来改进方向应关注推理路径优化而不仅是知识扩充。研究提出的理论框架和测试工具，为系统诊断和缓解模型幻觉问题提供了方法论基础。