NLP研究

研究者提出跨评估框架，用人类专家标注数据测试前沿大模型在埃及和伊拉克阿拉伯语方言上的文化与社会语言学知识。结果显示，文化推理任务仍是自动评估的主要难点。

最新研究对21个LLM评委模型进行系统性评估，发现当前依赖精确匹配的验证方法普遍高估模型判别能力，同时揭示评委模型存在显著的位置偏差与一致性矛盾。