AI安全

斯坦福团队提出RAIL Guard闭环式负责任AI管道，通过评估-重写-再评估循环自动修复LLM不安全输出，相比传统拦截重试机制将修复成功率从49.1%提升至96.9%。

随着强化学习在安全关键领域的广泛应用，神经网络策略缺乏行为保证成为主要障碍。本综述首次建立统一框架，系统梳理验证方法并揭示理论关联。

研究人员提出JUMP攻击方法，仅需单次查询即可高效检测扩散语言模型是否使用了特定训练数据，相比现有方法显著提升检测精度并降低查询成本。

研究人员发现多智能体LLM系统的规划阶段存在严重安全漏洞，提出PlanFlip攻击框架，通过四种伪装攻击方式可同时破坏所有下游子任务。实验显示能力越强的模型反而越脆弱，GPT-5攻击成功率最高达68%。

OpenAI近期分享了长期运行AI模型部署中的安全经验，揭示了新型风险、观察到的故障案例，以及通过迭代部署改进的安全措施。

研究发现，现有毒性检测工具在多语言、语码混合、音译及俚语场景下可靠性存疑。研究者提出ToxGate方法，将外部信号作为条件证据处理，显著提升了高风险内容的识别效果。

研究发现前沿AI公司发布的能力安全阈值存在显著差异，导致第三方难以验证和比较。研究人员提出跨三大风险领域的统一阈值制定方法，以防范安全标准“逐底竞争”。

AI初创公司黎曼动力正式发布Rienmann-1.0模型，此前有报道称GPT-5.6存在自动删除文件的安全隐患，引发行业对AI模型安全性的关注。

研究发现当前AI助手存在阿谀奉承、过度自信等行为，根源在于语言模型缺乏对用户完整认知的显式表征，研究者提出通过“割裂框架”在模型中植入结构化未知信息来改善这一问题。

最新研究揭示，对齐语言模型的安全拒绝机制存在脆弱性，仅需在提示前添加简单前缀即可使其绕过安全限制生成有害内容。研究通过多模型实验定位了拒绝机制失效的具体位置和原理。

研究发现AI智能体的失败往往源于上下文环境质量不足，而非模型本身。研究者开发了可测量上下文工程质量的评估框架，为提升智能体可靠性提供新方法。

OpenAI宣布针对青少年用户推出多重安全保护措施，包括适龄内容过滤、家长管控工具及教育合作项目，旨在为未成年人提供更安全的AI交互环境。

研究团队提出Safety Sentry框架，将传统二元安全判断扩展为“执行-询问-拒绝”三路决策，通过单次解码调用实现轻量级安全防护，显著提升LLM智能体工具调用的安全性。

研究人员提出“干预式基础审计”方法，通过谓词替换检测大模型思维链推理对前提的真实依赖程度，发现GPT-4o在解决推理问题时，66%的正确回答中存在与证明树依赖不一致的推理步骤。

OpenAI发布自动化红队系统GPT-Red，通过自我对抗训练提升AI安全性、对齐能力和提示注入防御能力。

OpenAI提出“反向联邦主义”AI治理模式，主张通过州级法律先行先试，为构建全国性安全、民主的AI监管框架奠定基础。

一项最新研究提出，应将“隔离”作为保障大语言模型（LLM）智能体系统安全的核心设计原则，通过建立用户-智能体、智能体-工具等五大边界，系统性分析安全风险传播路径与防御策略。

研究人员提出“阈值超越标准”框架，系统评估前沿语言模型是否实质提升非专业人士策划高危生化核威胁的能力。实证研究发现，模型辅助在放射领域存在确认的助推效应，但其他领域效果有限。

Anthropic作为专注AI安全的公司，正通过Claude系统探索可靠、可解释、可操控的人工智能应用场景，加拿大成为其重要实践地区。

研究发现，大语言模型量化后即使任务准确率不变，其推理过程可能已发生“空洞化”，产生表面正确但逻辑不完整的答案，传统评估方法难以检测。

研究者针对智能体AI系统提出“最小自主性”理论，通过形式化方法量化系统行动间的结构分离与影响传播，为复杂工作流中的权限控制提供新框架。

蚂蚁安全针对AI代码生成工具Claude Code存在的安全风险，开源两大安全框架，旨在提升AI辅助编程的安全性。

研究发现临床检索增强生成系统存在新型缺陷——模型能正确引用真实医学文献，却将药物Y的临床证据错误归因于查询药物X，现有评估框架无法检测此类“实体归因失败”。

最新研究对语言模型训练中报告的“涌现式错位”现象提出质疑，发现该现象对数据集表面特征高度敏感，其稳健性可能被高估。

研究发现，在多模态大模型强化学习对齐过程中，单纯追求高奖励分数反而可能导致任务表现下降，这种“奖励欺骗”现象在视觉证据被文本奖励评估时尤为严重。

研究提出将AI安全中的对抗鲁棒性问题转化为格遍历问题，为多层感知机提供完备的区间认证理论框架。

研究人员提出MI-EPO框架，通过最大化生成回复、偏好反馈和偏好向量之间的联合条件互信息，统一多目标探索与对齐过程，显著提升大模型与多样化人类价值观的匹配度。

Anthropic 首次公开 Fable 5 模型网络安全分类器的具体拦截范围，并发布了越狱攻击严重性评估框架草案。

最新研究揭示语言模型存在系统性权威偏见：面对不同权威等级的人物提示，模型会按比例调整答案，甚至主动擦除正确答案的内部表征。

最新研究揭示医学大模型幻觉检测与控制的本质差异：神经元激活信号虽能准确识别幻觉，却难以通过神经元调控实现有效纠正。

研究者提出SEA架构，通过冻结基础模型与版本化封装，让AI代理在严格验证机制下实现安全自进化。实验显示该架构能有效利用基础模型能力，防止性能退化。

研究者在上下文赌博机框架下提出一种双向信息不对称的AI监督博弈模型，揭示当人类与AI各自掌握私有信息时可能产生的监督失效区域，并分析动态学习如何缓解这一问题。

最新研究发现，使用良性多语言数据微调大语言模型，可能意外导致模型对恶意提示的防御能力下降，且安全影响在不同语言间差异显著。

研究提出DriftGuard框架，通过多维度监控毒性内容的演化漂移，并采用选择性模型更新策略，提升在线内容审核系统在动态环境中的安全性与适应性。

研究表明，将聊天机器人时代‘拒绝不安全输入’的安全策略直接套用于AI智能体场景存在根本性错误，智能体安全的核心应是‘行动对齐’与‘最小权限’的外部执行。

研究通过进化博弈论分析，在竞争市场中，以最小化危害为目标的AI代理何时能取代寻求认可的RLHF代理，并探讨审计型治理能否真正防止社区伤害。

针对AI智能体在运行中易受记忆投毒、工具链操控等攻击的威胁，研究者提出首个仿生内源性防御架构——智能体原生免疫系统（ANIS），将防御机制嵌入智能体认知循环。

最新研究揭示，聊天模型的拒绝行为并非独立机制，而是受到其人格设定的调控。通过激活空间干预实验，研究者发现顺从型人格会显著抑制模型的拒绝倾向。

研究人员提出一种迭代数据生成方法，通过识别级联线性特征来检测和控制语言模型的奉承倾向。该方法比传统二元对比样本能更清晰地分离行为特征，并提供可解释性保证。

研究人员提出构建基于阿西莫夫机器人法则的新型AI系统，强调安全伦理框架与人类价值观对齐的重要性。