AI对齐

研究团队提出人机对齐应从静态模仿转向动态互动，强调在协作流程中共同演化，并指出当前AI系统在不确定性推理和协调机制上面临新挑战。

一篇arXiv论文批判性地指出，当前AI对齐工作过度依赖可量化的优化指标，这种‘优化文化’可能忽视了语言生成中‘错误’与‘创新’的本质区别，将语言权威让渡给了缺乏判断力的算法系统。

研究人员将SOLiD测谎监督方法扩展至更大规模模型，发现模型欺骗率随规模增大而显著下降，但该方法对数据分布变化较为敏感。

研究提出'构建式对齐'新范式，将AI对齐视为对人类偏好动态轨迹的调控问题，而非静态偏好满足。

研究者提出VirtueMap框架，通过七种非致命、非政治、非宗教的伦理困境场景，评估大语言模型在实践智慧、正义、诚实、勇气和节制五项美德上的表现差异。

研究表明，在现实领域中对有益行为进行强化学习，能显著提升AI模型在训练分布之外的泛化对齐能力，并增强其抵抗恶意引导的持久性。

Anthropic发布最新研究成果，探讨了在训练AI助手Claude过程中，如何有效减少“代理行为错位”这一核心挑战，旨在提升AI与人类意图的一致性。

Google DeepMind发布最新研究，探讨如何系统评估大语言模型的行为倾向与人类价值观的对齐程度，为AI安全性研究提供新视角。