AI系统本质是语义抽象:新框架解析模型输出与事实的差距
近日,arXiv发布一篇新研究指出,AI系统的输出并非其表面所描述的事实或世界状态,而是一种经过设计的语义表征。论文作者提出一套语义框架,用以描述和分析AI系统,并检验其输出的正确性。
该框架的核心在于区分三种知识来源:一是被领域公认的知识,二是参考源(如文献、数据)所陈述的内容,三是系统当前能够实际使用的信息。基于这种区分,研究团队为常见的AI输出问题给出了精确定义,包括:过度外推、已被反驳或缺乏支持的断言、知识源与领域知识不匹配、信息过时或来源被推翻、额外添加的假设,以及未经支持的推理使用等。
研究者强调,AI系统在生成文本、提供引用、调用工具乃至执行影响现实世界的操作时,其输出应当基于可靠的主张和明确的授权,而非仅仅依赖表面上的流畅性。该框架旨在为AI系统的规范设计与验证提供一套实用的术语与检查思路,帮助提升其输出的可信度与可解释性。