AI系统本质是语义抽象:新框架解析模型输出与事实的差距

arXiv·8 天前

近日,arXiv发布一篇新研究指出,AI系统的输出并非其表面所描述的事实或世界状态,而是一种经过设计的语义表征。论文作者提出一套语义框架,用以描述和分析AI系统,并检验其输出的正确性。

该框架的核心在于区分三种知识来源:一是被领域公认的知识,二是参考源(如文献、数据)所陈述的内容,三是系统当前能够实际使用的信息。基于这种区分,研究团队为常见的AI输出问题给出了精确定义,包括:过度外推、已被反驳或缺乏支持的断言、知识源与领域知识不匹配、信息过时或来源被推翻、额外添加的假设,以及未经支持的推理使用等。

研究者强调,AI系统在生成文本、提供引用、调用工具乃至执行影响现实世界的操作时,其输出应当基于可靠的主张和明确的授权,而非仅仅依赖表面上的流畅性。该框架旨在为AI系统的规范设计与验证提供一套实用的术语与检查思路,帮助提升其输出的可信度与可解释性。

AI可解释性语义框架模型幻觉知识验证arXiv研究

原文来源:https://arxiv.org/abs/2607.09489

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架

← 返回