人工智能安全

研究人员发现强化学习人类反馈（RLHF）偏好标注中存在结构化偏差：标注者的情绪状态会影响其判断，这种偏差可能通过奖励模型传播至最终模型。团队提出了一套可验证的审计框架。

研究人员通过逆向工程窥探Claude AI的内部工作过程，揭示其决策逻辑中存在的非直观模式与潜在偏差。

研究者提出一种在线对齐技术，让大语言模型通过自我审查和直接偏好优化，在训练、微调等场景中主动识别并修正不道德输出。