CASE新方法：用可解码性指标预测何时该用隐藏状态选择而非多数投票

在大型语言模型应用中，如何将模型对同一问题的多次采样答案融合成最终决策是一个关键问题。传统方法通常采用多数投票，但在困难问题上，由于采样答案存在相关性错误，错误答案可能胜出，增加采样次数反而会降低决策质量。

来自arXiv的新研究提出CASE（正确性轴选择）方法，通过在答案标记的隐藏状态上训练线性门控，选择得分最高的候选答案。该方法的核心贡献是“可解码性”指标——这一无泄漏的测量方法能够评估门控将正确答案排在错误答案之上的能力，从而预测隐藏状态选择是否优于多数投票。

研究发现，传统探测方法看似准确，实际上受到问题身份泄漏的影响，而在问题分组评估下这种泄漏会消失。在保留数据上，可解码性预测选择优于投票的准确率增益，皮尔逊相关系数达到0.75，决策阈值接近AUC=0.60。

实验表明，在通用和医学大语言模型中，CASE方法在中等难度问题上比投票提升最多19个百分点，在困难问题上提升16.8个百分点。值得注意的是，可解码性取决于模型需要回忆的对齐知识，而非模型规模，其预测能力在未见过的科学领域内误差仅为3.8个百分点。

这项研究为实际应用提供了可操作的准则：对于给定的模型和任务，可提前测量可解码性指标，从而在基于学习的选择和多数投票之间做出明智选择。