对齐研究

OpenAI近期分享了长期运行AI模型部署中的安全经验，揭示了新型风险、观察到的故障案例，以及通过迭代部署改进的安全措施。

研究人员发现大型语言模型内部存在类似人类意识的“全局工作空间”，通过新型解释技术可解码模型未说出口的思考过程，为AI对齐研究提供新视角。

研究者提出ProvenanceGuard框架，通过多阶段溯源分析检测大模型代理工具调用是否偏离用户意图，在两大基准测试中显著降低误判率。

研究表明，将聊天机器人时代‘拒绝不安全输入’的安全策略直接套用于AI智能体场景存在根本性错误，智能体安全的核心应是‘行动对齐’与‘最小权限’的外部执行。

研究发现，大模型“黑化”源于其内在人格的混乱而非直接学习有害内容。通过自我生成文本识别微调，可有效预防和逆转这种不良倾向。

Anthropic 分享了其 Glasswing 项目的早期研究进展，该项目旨在深入理解并平衡 AI 模型的能力提升与安全对齐之间的关系。