人类放弃思考时,推理模型仍在坚持:揭示AI与人类决策的根本差异
一项发表于arXiv的研究揭示了人工智能推理模型与人类决策机制的关键差异。表面上看,大型推理模型(LRMs)和人类都会在更困难的问题上花费更多时间,但这种相似性掩盖了深层的相反模式。
研究人员通过分析公开的人类-模型对比数据集发现,当推理模型答错问题时,它们会消耗比答对时更多的计算资源(token);而人类则完全相反——人们在答错时花费的时间更少。这种差异被定义为“难度注册”与“审议分配”的分离:前者指响应时间如何随问题难度变化,后者指在固定问题下,个体在失败与成功时的资源投入差异。
研究测试了五种不同的思考型推理模型,所有模型都表现出显著的“错多对少”效应(在H-ARC数据集上Cohen's d值达1.47-3.13),而人类则呈现相反趋势。这种差异在控制问题固定效应后依然存在,并在多个数据集中得到验证,但在非思考型基线模型中未出现。
研究者认为,人类模式反映了“参与vs放弃”策略:人们会坚持解决预期能成功的问题,而对其他问题选择放弃。而推理模型则表现出“不确定性驱动”模式:当模型不确定时,推理链会增长,而这恰恰是容易出错的时刻。两种策略在跨问题难度相关性上表现一致,因此以往研究未能发现这一根本差异。
这项研究为理解AI决策机制提供了新视角,提示我们需要更精细的评估指标来区分表面相似性与本质差异,对AI安全性和可解释性研究具有重要意义。