评估方法

最新研究重新审视了大语言模型代理自动工具进化的评估方法，发现现有评估协议存在根本性缺陷，可能导致结果夸大。

研究者推出首个面向Word、Excel、PowerPoint原生格式的综合性基准OCB，测试显示当前最强模型在专业领域问答中仅获59.3%准确率。

研究发现，基于计数的F1指标可能因提示框架中的数字锚定效应而虚高，无法真实反映大语言模型的错误定位能力。

研究发现现有知识型视觉问答基准测试存在系统性缺陷，导致模型能力被高估。团队提出审计修复方案并构建增强数据集，推动更可靠的评估方法。

研究者提出基于匹配参考样本的韵律评估框架，通过对比AI语音输出与人类对话数据，量化评估语音语调、语速、停顿等韵律特征，为语音对话系统提供可解释的评估指标。

研究提出针对小样本和高性能场景的置信区间计算方法，解决传统方法在社会科学文本分类中的不足，提升机器学习应用透明度。