新视角:将潜在思维链推理建模为动态系统

arXiv·7 天前

近期,CODI、COCONUT等潜在推理方法面临一个根本性的可解释性问题:它们在每一步都维持多个叠加的候选推理轨迹,这与显式思维链的单一路径形成鲜明对比。现有机制分析方法虽揭示了压缩、捷径和叠加等现象,但未能解释推理在潜在步骤间如何演化。

为解决这一空白,研究团队将潜在标记序列建模为表示空间中的轨迹,并应用动态系统分析来刻画推理的演化特征。通过量化指标(如步间变化、方向一致性、李雅普诺夫敏感性)与定性投影技术(如UMAP、DMD/PHATE),研究发现潜在思维链展现出结构化、非随机的动态特性,且存在两种不同的稳定性类别。

具体而言,CODI表现为稳定的吸引子系统,而COCONUT则呈现不稳定的扩张系统。进一步分析表明,SIM-CoT监督训练能收紧两种行为,但不改变其底层动态特性。该框架不仅推进了对潜在思维链推理动态的可解释性理解,还为提升潜在推理性能提供了可操作的见解。相关代码与项目页面已公开。

思维链可解释AI动态系统推理模型机器学习

原文来源:https://arxiv.org/abs/2607.09698

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架

← 返回