AI价值对齐的脆弱性：过度优化或引发灾难性后果

随着AI系统承担的责任日益增加，确保其与人类价值观对齐变得至关重要。AI安全领域普遍担忧人类价值具有“脆弱性”——即过度优化不完美的人类价值代理可能导致灾难性结果。本文构建了一个对齐问题模型，其中智能体在优化世界前需经过理想化对齐训练，以确保其价值函数满足代理条件。核心研究发现，当人类价值函数与代理条件的准确性满足特定条件时，即使智能体具有“η-灾难性”价值函数（即在优化极限下，其期望值会将人类价值降至η以下），仍可能被部署。这一结果警示了过度优化的风险，并呼吁AI设计应限制优化压力（如采用分位数优化器），而非仅依赖部署前的训练。研究强调了在AI开发中平衡优化与安全对齐的紧迫性，为未来安全框架提供了理论依据。