训练数据

研究者通过分析大语言模型输出分布与训练数据中经验下一个词分布的一致性，发现模型规模越大、训练计算量越多，其输出与训练数据的统计模式越接近，但仍存在显著差异的输入序列。

研究人员通过训练数据溯源技术，首次系统揭示了语言模型中社会推理与STEM推理能力的不同数据来源，发现两者依赖完全不同的语料库区域。