模型对齐

研究人员发现强化学习人类反馈（RLHF）偏好标注中存在结构化偏差：标注者的情绪状态会影响其判断，这种偏差可能通过奖励模型传播至最终模型。团队提出了一套可验证的审计框架。

研究者提出“内省微调”方法，让小型语言模型学会检测自身内部激活的扰动，Llama-1B模型准确率从9.6%提升至60.6%。

OpenAI发布自动化红队系统GPT-Red，通过自我对抗训练提升AI安全性、对齐能力和提示注入防御能力。

最新研究对语言模型训练中报告的“涌现式错位”现象提出质疑，发现该现象对数据集表面特征高度敏感，其稳健性可能被高估。

研究发现，在多模态大模型强化学习对齐过程中，单纯追求高奖励分数反而可能导致任务表现下降，这种“奖励欺骗”现象在视觉证据被文本奖励评估时尤为严重。

最新研究揭示语言模型存在系统性权威偏见：面对不同权威等级的人物提示，模型会按比例调整答案，甚至主动擦除正确答案的内部表征。

研究人员提出通过分解大语言模型的认知过程，检测其内部激活信号中的“不端行为指标”，从而更可靠地识别模型的战略欺骗、自我保全等危险行为，为AI安全部署提供新工具。

研究团队提出直接偏好优化方法，突破传统强化学习框架，为AI模型对齐提供更高效、稳定的训练路径。