阿拉伯语文化知识评估新框架：前沿大模型在方言理解上表现如何？

人类专家评估的高成本是语言模型在专业高风险领域部署的主要瓶颈，对于阿拉伯语社会语言学知识尤为突出——可信的评分不仅需要语言流畅性，更需要无法通过表层指标近似的深层文化熟悉度。

为此，研究团队针对两个代表性不足的阿拉伯语方言社区（埃及和伊拉克阿拉伯语）构建了跨评估框架。他们贡献了103个经过验证的提示-评分标准对（70个埃及语、33个伊拉克语；53个文化类、50个语言类），均由母语专家使用区分正面内容要求和答案特定负面错误标准的惩罚加权评分标准进行编写和评分。

研究中，三个前沿大模型作为目标模型（由人类专家对302个独特提示-响应对进行评分），而五个前沿大模型则作为自动评委，执行提供者级别的自评估防护。采用结合平均绝对偏差（MAD）与符号平均误差的双指标方案，将定向评分偏差与对称噪声分离。

通过对1,307次评委评估的分析发现：GPT-5.4是最可靠的评委（MADj = 10.21 pp，符号误差 = -1.12%）；五分之四的评委表现出系统性宽松（+2.01%至+6.56%）；对所有评委而言，文化任务比语言任务更难评分（MAD差距1.83-4.78 pp）；模型在埃及语提示上的表现明显优于伊拉克语提示。

然而，由于伊拉克和埃及专家之间的宽松度差异，研究团队不能将此差距完全归因于模型知识差异。因此，他们重点强调了不假设人类评分者具有相同宽松度的发现。在所有样本中，隐性文化推理——要求模型模拟母语者判断而非依赖词汇验证——成为所有评委模型自动评分的主要失败模式。