AI评分系统防作弊新突破:自动检测并抑制语言评估中的“捷径依赖”
随着语音和语言处理任务越来越多地直接使用音频或文本作为输入,基于Transformer等复杂架构的系统能够学习输入与输出之间的高度非线性映射。然而,这些系统也可能学会“走捷径”——分类器过度依赖输入的特定方面来产生输出结果。在语言能力评估任务中,这种过度依赖可能导致学习者通过利用系统漏洞而非真正提高语言能力来提升分数。
近日,arXiv平台发布的一项研究提出了一种创新的训练准则,能够有效降低分类器对“捷径”的依赖。该研究以两种评估系统为例进行说明:一种基于音频输入,另一种基于语音识别文本。结果显示,这两种系统与可能被滥用的特征之间的相关性均高于人类参考标准,表明系统对这些特征存在过度依赖。
通过引入改进的训练准则,这种相关性可以降低至更接近参考相关性的水平。这一方法不仅提升了AI评分系统的公平性和准确性,也为防止语言评估中的不当行为提供了技术保障。研究代码已公开(arXiv:2607.16085v1),为相关领域的研究与应用提供了重要参考。