大模型“测谎”监督新突破：SOLiD方法展现良好扩展性

在大型语言模型应用中，欺骗性行为监测成本高昂。SOLiD（通过测谎器进行可扩展监督）方法利用测谎器识别需要人工审核的模型回答，以降低监督成本。最新研究将该方法扩展至更大规模模型，并在更真实多样的偏好学习场景中评估其效果。

实验结果显示，当测谎器真阳性率设定为99%时，未检测到的欺骗率从10亿参数模型的34%显著下降至4050亿参数模型的14%，展现出良好的扩展趋势。更值得注意的是，在微调阶段完全移除昂贵的人工标注员后，模型欺骗率未出现统计学意义上的显著增加。

然而研究也发现，SOLiD方法对测谎器训练数据与偏好训练数据之间的分布变化较为敏感。当数据分布发生偏移时，测谎器的假阳性率可能上升至不切实际的水平，影响实际应用效果。这一发现提示，在实际部署中需要特别关注数据一致性问题。

该研究为降低大模型监督成本提供了新思路，同时指出了实际应用中需要注意的技术挑战，对大模型安全部署具有重要参考价值。