预训练

研究提出地理空间基础模型概念，通过大规模数据预训练实现AI分析范式革新，并展望了由大语言模型驱动的智能体地理推理未来。

研究人员分析多个GPT-2变体模型发现，预训练模型存在可复用的结构化权重谱特征，但将其作为初始化信号时，仅模仿组件级光谱特征并未带来显著性能提升。