大模型幻觉雪球效应:多智能体流水线中错误如何层层放大

arXiv·16 天前

最新研究揭示了大模型多智能体协作系统中的致命缺陷。当多个专用大模型智能体以流水线方式串联工作时,若在交接环节缺乏验证机制,早期产生的幻觉不仅会持续存在,还会发生形态演变:原始数值事实会转化为衍生计算,再变成叙述性文字,最终成为经编辑认可的结论。研究团队将这一现象命名为“幻觉雪球效应”,并首次将其建模为四状态马尔可夫过程(原始事实→衍生→叙述→隐形)。实验数据显示,幻觉在每道边界的逃逸概率分别为24.6%、48.3%和89.3%。在金融分析四智能体流水线的346次自动注入实验中,GPT-4o对幻觉的检测率从第一阶段的72.0%骤降至第四阶段的50.9%,最终有23.7%的幻觉完全未被发现。即使是性能最强的Qwen3.5-397B-A17B模型(第一阶段检测率87.0%),其第四阶段检测率预计也只能达到60-65%。研究同时发现验证时机比验证本身更重要:在边界处使用相同RAG验证工具,可将幻觉存活率从58.4%降至16.2%,而仅进行最终检查仅比不验证提高2.3个百分点。该模型还能预测n智能体线性流水线的幻觉存活率,并为验证资源分配提供优化方案:应优先投资于S1→S2边界,此处仍有75.4%的幻觉可被捕获,而非S3→S4边界(此时89.3%的幻觉已逃逸)。

大模型幻觉多智能体系统错误传播模型验证AI可靠性

原文来源:https://arxiv.org/abs/2608.14588

相关阅读

AI智能体如何重塑人类群体的共识形成机制
text2ql框架革新数据库自然语言查询:支持多目标、零LLM模式实现100%执行准确率
无需预设长度!PILL方法显著提升扩散语言模型填充效率
新方法实现大模型知识编辑的精准逆转:只删恶意不改良性
无需训练!IDEEA实现输入依赖的激活匹配引导

← 返回