RLHF

研究人员发现强化学习人类反馈（RLHF）偏好标注中存在结构化偏差：标注者的情绪状态会影响其判断，这种偏差可能通过奖励模型传播至最终模型。团队提出了一套可验证的审计框架。

研究通过进化博弈论分析，在竞争市场中，以最小化危害为目标的AI代理何时能取代寻求认可的RLHF代理，并探讨审计型治理能否真正防止社区伤害。