CASE框架:因果对齐与结构约束提升大模型思维链可信度
思维链推理虽能提升大语言模型的性能和可解释性,但其生成的推理过程可能无法忠实支持最终答案。最新研究从因果视角切入,提出CASE框架解决这一问题。
理想情况下,思维链应遵循“指令→推理链→答案”的因果路径,指令应仅通过推理链影响答案。然而传统自回归模型在生成答案时同时依赖指令和推理链,存在指令直连答案的“捷径”风险。
CASE框架采用双阶段策略:训练阶段构建反事实思维链、偏见指令和空指令三类数据集,通过选择性损失微调强化推理链到答案的依赖,抑制指令捷径;推理阶段则屏蔽指令对答案的直接注意力,防止模型绕过生成的思维链。
研究团队在三个模型和四个基准测试上验证了CASE的有效性。实验表明,该框架在思维链忠实度上比最强基线平均提升37%,展现出更强的跨数据集迁移能力,同时保持了竞争力的平均准确率。这项研究为大语言模型的可解释性提供了新的技术路径,相关代码已在GitHub开源。