直接偏好优化

研究者提出一种在线对齐技术，让大语言模型通过自我审查和直接偏好优化，在训练、微调等场景中主动识别并修正不道德输出。