SCLoRA：通过谱裁剪技术实现更好学习效果并减少遗忘的低秩适配方法

在低秩适配（LoRA）技术日益流行的背景下，研究人员基于奇异值分解（SVD）对网络参数进行了深入分析，揭示了两个关键发现：预训练网络参数中具有大奇异值的主成分在微调过程中可有效重用，而具有小奇异值的次要成分更具任务特异性，需要大幅调整。研究首次建立了理论联系，指出LoRA适配器中奇异值的无控制增长会导致预训练知识的遗忘——这一现象被称为灾难性遗忘。基于这些观察，研究团队提出了SCLoRA方法。该方法以参数化方式向预训练模型注入经过谱裁剪的奇异成分，同时考虑预训练模型的谱分布特性。SCLoRA通过将更新集中在需要调整的成分上，有效适应新任务，同时显著减轻灾难性遗忘。大量实验表明，SCLoRA不仅提升了下游任务性能，还能有效保留预训练知识。这项研究为改进低秩适配技术提供了新的理论视角和实践方案，对提升模型微调效率和稳定性具有重要意义。