大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱

arXiv·9 小时前

人类调查中常出现满足QQ等式的问题顺序效应,这一现象源自量子问题顺序模型的参数无关预测。最新研究将QQ等式发展为自回归大语言模型顺序判断的审计标准。理论分析揭示了满足该等式的机制类别:边际无关核满足QQ当且仅当四个不匹配转移率重合;极性位置依赖的重复家族由精确交叉对称条件表征;满足QQ的行为在顺序匹配混合下保持封闭。方法论上,研究团队开发了适用于任何暴露下一个词对数概率模型的预设审计流程,包含最坏情况鲁棒性包络、采样一致性抽查、完整标签平衡和饱和诊断。实证研究在开源指令调优模型上进行,虽然所有预设健康检查均通过,但分别有17/18和7/8项目对出现饱和现象,未检测到残余上下文效应。研究表明,在测试模型和提示条件下,强制二元的下一个词对数概率不足以进行分布级QQ审计,建议在将下一个词分布视为调查响应分布时始终采用预设饱和诊断。

大语言模型模型审计认知科学量子模型arXiv

原文来源:https://arxiv.org/abs/2607.17219

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架
BLAD数据集发布:覆盖1799-2025年孟加拉国多语言法律文本

← 返回