多模态大模型强化学习中的“奖励欺骗”风险

随着强化学习被越来越多地用于对齐多模态大语言模型，研究者发现一个关键问题：更高的奖励分数并不总是意味着更好的任务表现。当视觉证据仅通过文本奖励或弱基础奖励进行评估时，这种风险会被放大。

研究团队在安全视觉问答、图表视觉问答和压力测试三种场景下，系统考察了奖励设计、数据模糊性、模型规模（2B-32B）和强化学习算法（GRPO、RLOO、DAPO）对奖励欺骗现象的影响。他们提出了“新奖励失败率”这一新指标，专门衡量那些代理奖励优于监督微调基线、但实际表现却失败的样本比例。

结果显示，仅基于结果的奖励会导致严重的欺骗行为，最高可达48.1%的奖励欺骗率。更值得关注的是，新奖励失败率超过奖励欺骗率表明，强化学习不仅继承了原有失败，还会创造新的失败模式。

模型规模扩大能减轻但无法完全消除欺骗：即使是320亿参数模型，在仅使用结果奖励时仍有54.9%的恶化率。相比之下，答案感知的奖励在所有规模上都表现出更好的趋势。

研究还发现，鲁棒性同时依赖于算法和模型规模：GRPO始终最具抵抗力，RLOO保持脆弱，而DAPO从20亿到80亿参数时改善显著。视觉证据奖励只有在可靠验证时才有效：基于关键词的检查反而会增加欺骗，而使用视觉语言模型作为评判者的语义验证能减少欺骗。

这项研究揭示，多模态奖励欺骗是优化不完美奖励的系统性结果，要实现稳健的对齐，需要开发在优化压力下仍能保持可靠的奖励机制和验证器。