AI评测

研究发现当前语言模型在用户任务不明确时表现不佳，仅能识别22-32%的真实意图，远低于人类的48%。论文提出将任务对齐问题建模为POMDP框架，揭示AI在交互式任务理解上的关键短板。

研究人员提出基于大语言模型的解释质量标记方法，通过分析5.5万份预测报告发现，该方法能有效识别判断质量，尤其擅长发现表现不佳的预测者。

研究发现，当AI评测基准达到准确率饱和后，不应简单废弃，而应转向评估构造有效性、泛化能力、效率等六个关键维度。CORE-Bench案例展示了超越准确率的全面评估方法。

最新研究对21个LLM评委模型进行系统性评估，发现当前依赖精确匹配的验证方法普遍高估模型判别能力，同时揭示评委模型存在显著的位置偏差与一致性矛盾。