新视角:将潜在思维链推理建模为动态系统
近期,CODI、COCONUT等潜在推理方法面临一个根本性的可解释性问题:它们在每一步都维持多个叠加的候选推理轨迹,这与显式思维链的单一路径形成鲜明对比。现有机制分析方法虽揭示了压缩、捷径和叠加等现象,但未能解释推理在潜在步骤间如何演化。
为解决这一空白,研究团队将潜在标记序列建模为表示空间中的轨迹,并应用动态系统分析来刻画推理的演化特征。通过量化指标(如步间变化、方向一致性、李雅普诺夫敏感性)与定性投影技术(如UMAP、DMD/PHATE),研究发现潜在思维链展现出结构化、非随机的动态特性,且存在两种不同的稳定性类别。
具体而言,CODI表现为稳定的吸引子系统,而COCONUT则呈现不稳定的扩张系统。进一步分析表明,SIM-CoT监督训练能收紧两种行为,但不改变其底层动态特性。该框架不仅推进了对潜在思维链推理动态的可解释性理解,还为提升潜在推理性能提供了可操作的见解。相关代码与项目页面已公开。