权重初始化

研究人员分析多个GPT-2变体模型发现，预训练模型存在可复用的结构化权重谱特征，但将其作为初始化信号时，仅模仿组件级光谱特征并未带来显著性能提升。