#
可信AI
11 篇相关内容
强化学习策略验证研究全景：从形式化方法到概率保证
随着强化学习在安全关键领域的广泛应用，神经网络策略缺乏行为保证成为主要障碍。本综述首次建立统一框架，系统梳理验证方法并揭示理论关联。
a
破解AI信任困局：独立认证能否成为可信AI的“验金石”？
研究指出当前AI市场存在“信任鸿沟”，企业投入的负责任AI实践难以转化为外部可信信号。学者提出应建立以结果为导向的独立认证体系，将可信度转化为可衡量、可比较的市场竞争力。
a
Nemotron Labs：开源模型如何让企业与国家拥有可信、可控、可定制的AI
NVIDIA旗下Nemotron Labs强调，企业选择AI模型的关键在于能否真正满足业务需求，通过开源模型实现可信、可控与深度定制。
N
新方法「分流转码」高效检测大语言模型幻觉
研究人员提出「分流转码」新方法，通过主动挑战模型生成内容来检测大语言模型的幻觉问题，相比现有方案计算复杂度显著降低。
a
小规模双曲语言模型展现创造力、诚实性与可控遗忘机制
研究揭示小型双曲语言模型通过特殊架构设计，可同时实现创造性输出、诚实评估与可控记忆遗忘，为可信赖的AI伴侣系统提供新路径。
a
大模型潜在空间新探索：用控制向量与校准器提升可信度
研究团队提出利用大模型潜在空间实现行为控制与输出校准的新方法，通过控制向量干预模型行为，并开发潜在空间校准器评估输出可信度。
a
CORTEX：基于内部表征对比的RAG幻觉检测新方法
研究人员提出CORTEX方法，通过对比大模型在有/无检索文档时的内部表征，实现细粒度的token级幻觉检测，在多个基准测试中表现优异。
a
T2D-Bench：用知识图谱为2型糖尿病AI建议把关，GPT-4o仍有33%证据缺口
研究者推出T2D-Bench评测框架，通过多层临床-生活方式知识图谱检验大模型在2型糖尿病建议中的证据完整性。测试显示GPT-4o系列模型约三分之一输出未通过证据路径核查。
a
Mistral AI 推出开源基础模型 Leanstral，专注可信赖的直觉式编程
Mistral AI 正式发布开源基础模型 Leanstral，旨在为开发者提供更可信赖的直觉式编程（vibe-coding）支持。
M
多智能体系统可信度突破：Argent信号协议有效遏制语义漂移
研究人员提出Argent信号协议，通过结构化质量信号帮助多智能体系统区分可修复错误与需遏制错误，在文档问答任务中显著提升准确率并完全阻断无依据信息传播。
a
大模型上下文学习的不确定性量化：提出自函数向量新方法
研究者提出基于自函数向量的新框架，首次实现对上下文学习中随机不确定性的精确量化，为提升大模型预测可靠性提供新工具。
a