ALEE框架：基于英语最小对实现任意语言嵌入模型评估

文本嵌入模型已成为语义相似度任务的基础工具，但其评估体系仍存在显著局限。现有基准测试往往局限于少数语言、特定领域，且容易过拟合，对低资源语言的覆盖严重不足。为突破这些瓶颈，研究团队在Sentence Smith框架基础上，开发出跨语言段落级评估系统ALEE。该框架创新性地采用抽象语义表示（AMR）技术，首先生成具有精细可控语义变化的英语最小对例句，再将其与目标语言的翻译文本配对，构建出可适配任意语言的诊断数据集。

研究团队通过对多种主流嵌入模型及覆盖275种以上语言的三大平行语料库进行大规模实验，发现模型在不同语言、文本长度及语言现象上的表现存在显著波动。评估结果显示：模型在训练数据中高频语言的表现明显优于低资源语言，同时子词分词策略对语义捕捉能力产生系统性影响。这些发现揭示了当前跨语言语义表示技术仍受限于训练资源的语言分布不均衡。ALEE已开源发布，为多语言嵌入模型的精细化评测提供了标准化工具。