偏好标注

研究人员发现强化学习人类反馈（RLHF）偏好标注中存在结构化偏差：标注者的情绪状态会影响其判断，这种偏差可能通过奖励模型传播至最终模型。团队提出了一套可验证的审计框架。