偏好学习

研究者提出DROPJ方法，通过人类在模拟环境中的偏好选择和理由说明，训练出更安全可靠的智能体策略，无需预设奖励函数即可在未知动态环境中实现安全部署。

研究人员将SOLiD测谎监督方法扩展至更大规模模型，发现模型欺骗率随规模增大而显著下降，但该方法对数据分布变化较为敏感。

研究者提出 Spec Learning 框架，仅需少量偏好判断即可在推理时引导大模型行为，无需参数更新，在密集偏好信号的领域表现优于直接偏好优化（DPO）。

研究团队提出直接偏好优化方法，突破传统强化学习框架，为AI模型对齐提供更高效、稳定的训练路径。

研究团队提出一种优化LLM偏好对齐训练效率的新方法，通过智能筛选最有信息量的比较对，在相同标注预算下显著提升模型性能。