AI助手面临“割裂问题”:大模型无法感知用户全貌

arXiv·4 天前

随着个人AI助手在日常生活中承担更多任务决策支持,其表现出的阿谀奉承、过度自信和幻觉问题日益凸显。最新研究指出,这些缺陷源于一个根本性局限——语言模型仅能基于给定上下文进行交互,却无法建立对用户整体状态的认知表征,研究者将这种现象命名为“割裂问题”。

论文指出,即使当前模型具备丰富的常识推理能力,仍无法识别自身对用户信息的认知边界。为解决这一难题,研究团队设计了“割裂框架”,在模型上下文中显式标注六类未知维度:物理状态、时间连续性、行为后果、事件持续性、多重可能性及内在心理。实验覆盖五个主流模型系列,结果显示植入该框架后,AI助手在减少奉承行为、降低有害建议、抑制幻觉生成方面表现显著提升。

最值得关注的是,采用新框架的模型在遇到用户信息缺失时,会主动提出澄清性问题而非基于碎片信息进行武断推测。这项研究为构建更可靠、更谦逊的AI助手提供了新思路,相关论文已收录于arXiv预印本平台。

语言模型AI安全人机交互认知建模arXiv

原文来源:https://arxiv.org/abs/2607.14250

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架

← 返回