符号增强技术突破神经事实核查模型的结构性盲区

最新研究发现，大型语言模型在总结科学文本时经常产生数字和单位的幻觉错误，这种错误可能悄无声息地颠覆科学论断的本质。研究团队将此类错误检测重新定义为类型化验证任务，提出了包含五类数量错误的分类体系，并构建了包含1500个项目的基准数据集，数据源自PMC和arXiv文献，由两名独立的LLM标注员完成标注（Krippendorff's alpha = 0.882）。

基于该基准微调的ModernBERT编码器取得了0.899的宏观F1分数，远超现有神经事实核查模型。然而，四项探测实验揭示了一个关键的结构性盲区：当面对物理等价量的规范等价改写时（如95°C与368.15K），模型准确率骤降至36.5%。

研究团队提出的符号增强训练框架通过在训练时反向运行符号验证器模块，生成保持标签不变的增强训练数据。该技术将规范等价鲁棒性提升至98.2%，同时略微提高了分布内准确率（宏观F1从0.899提升至0.902）。增强后的编码器在零推理成本下达到了前沿闭源LLM的水平，并在外部基准测试中展现出良好的迁移能力（SciFact-Open二元宏观F1从0.791提升至0.828）。

研究还发现两个负面结果：将符号特征作为编码器辅助输入并无增益，而符号银标签在教师噪声下呈现负向扩展。这些结果表明，训练时增强是符号组件与学习组件整合的最佳切入点。