预训练数据

研究者首次对3万亿token开源预训练语料库Dolma进行叙事特征分析，发现网络文本中存在连续的多维叙事结构，且叙事质量在不同数据源和主题间分布不均。