新研究发现:重排序并非总是有效,基于不确定性的门控策略更优
传统少样本学习方法通常假设对检索到的示例进行重排序总能提升模型性能。然而,最新研究发现这一假设并不总是成立——昂贵的重排序步骤实际上可能损害最终效果。
来自arXiv的研究团队提出了“无需训练的门控重排序”方法,通过评估模型的不确定性来决定是否执行重排序操作。该方法在8个大型语言模型上进行了广泛验证,涵盖7个自然语言理解数据集和9个机器翻译领域-语言组合。实验结果显示,该方法能将计算成本降低15%-80%,同时将平均性能提升高达2%。
这一发现挑战了“计算成本越高性能越好”的传统观念,表明重排序仅在处理高不确定性实例时最为有效。研究为优化少样本学习中的计算资源分配提供了新思路,特别是在资源受限的实际应用场景中具有重要意义。