AI评估

研究提出优质AI基准测试应具备正确性、可解性、可验证性、明确性与挑战性五大特征，强调测试需模拟真实场景并验证结果而非方法。

研究者提出GenAI评估框架，通过配置化管道对零售对话系统进行大规模多维度评估，每日处理约5万条记录，支持选择性重评与完整审计追踪。

研究者发布WILDTRACE基准数据集，专注于评估AI模型在长文档中整合自然分散证据的能力，包含481个任务和214个真实场景文档，填补了现有基准在真实世界推理评估上的空白。

研究人员提出利用世界模型作为评估AI决策质量的“裁判”，为强化学习等任务提供更高效、更可靠的评估方案。

最新研究揭示，AI模型能力的评估方式将直接影响技术资源分配格局——采用有界或无界性能指标，会得出截然相反的结论，进而决定尖端能力是集中于少数巨头还是普惠于广大开发者。

研究团队推出Seed2.0模型系列，通过建立以用户真实需求为导向的评估体系，显著提升了模型在长尾知识和复杂指令跟随方面的能力，并在推理、视觉理解和搜索等核心领域达到领先水平。

OpenAI发布GeneBench-Pro基准测试，旨在评估AI在基因组学、生物学及科学研究中使用复杂真实数据集的表现。

最新研究发现，大型推理模型与人类在面对难题时表现出相反的决策模式：模型在答错时会消耗更多计算资源，而人类则倾向于在答错时提前放弃。

研究者提出RIFT-Bench，一种基于图表示的动态红队测试方法，可对异构智能体AI系统进行统一安全评估，支持攻击探测与防御策略测试。

研究发现传统AI智能体排行榜的排名在真实部署场景中不稳定，提出用“预测效度”替代平均分来评估智能体，并设计了一套12层评估框架。