AI智能体治理新方案:Deontic Policies为自主系统提供运行时约束

arXiv·31 天前

随着大语言模型驱动的自主AI智能体日益普及,其引发的安全、隐私和合规挑战也日益凸显。这类能够调用工具、操作数据、安装软件并与跨组织智能体协作的系统,不仅需要传统的身份验证和访问控制,更需要完整的企业治理结构约束。这包括明确智能体被允许和禁止的行为、特定操作后必须履行的义务、义务豁免条件以及策略冲突时的优先级规则。

当前主流策略引擎如XACML、Rego和Cedar仅能处理“允许/禁止”这类基础约束,无法应对复杂的治理需求:它们缺乏义务生命周期管理、元策略冲突解决、特定情境下的义务豁免机制,以及对医疗、网络安全等领域的本体层次推理能力。

为此,研究团队提出AgenticRei框架,基于Rei框架构建义务逻辑策略语言,采用OWL(Web本体语言)表达策略,并通过完全独立于大语言模型的高性能逻辑引擎在运行时执行评估。该框架不仅涵盖基本的允许/禁止约束,还实现了义务管理、豁免机制、策略冲突解决及策略推理等关键治理功能。其治理管道同时适用于智能体的工具调用和智能体间通信。

研究表明,义务逻辑策略能够表达当前生产引擎大多无法捕获的安全与隐私治理约束,并可自然集成到A2AS等行业标准框架中,为AI智能体系统的合规运行提供新的技术路径。

AgenticReiAI治理自主智能体义务逻辑运行时安全

原文来源:https://arxiv.org/abs/2606.19464

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架

← 返回