经验分布

研究者通过分析大语言模型输出分布与训练数据中经验下一个词分布的一致性，发现模型规模越大、训练计算量越多，其输出与训练数据的统计模式越接近，但仍存在显著差异的输入序列。