提示框架扭曲大语言模型错误检测评估：锚定效应导致F1虚高

在最新研究中，学者发现大语言模型错误检测评估中广泛使用的计数型F1指标存在明显缺陷。通过构建ErrorBench压力测试协议，研究团队对六款主流大语言模型进行了系统性测试，涵盖4290个来自CoNLL-2014数据集的响应。实验表明，当提示中包含数字锚定时（如“找出5处错误”），模型生成的错误数量会显著增加，导致计数F1指标虚高0.79-0.96点，而实际错误定位能力并未同步提升。这种现象被定义为“F1虚胀”。

研究特别指出，高度遵循指令的GPT和Claude系列模型对锚定提示更为敏感，而Gemini家族模型受影响较小。通过ERRANT 3.0.0官方流水线的验证实验进一步证实，从无锚定到有锚定提示的转换使计数F1平均提升0.21，而多参考ERRANT F0.5仅微增0.04。

这项研究对当前大语言模型校对和文档审阅评估方法提出了重要警示：应避免在提示中预设错误数量，并建议同时报告基于跨度的定位指标和传统计数指标，以获得更全面准确的性能评估。该发现对改进大语言模型在语法纠错、内容审核等实际应用场景的评估体系具有重要参考价值。