灾难性遗忘

研究者提出SCLoRA方法，通过分析网络参数的奇异值分解，发现大奇异值的主成分在微调时可重用，而小奇异值的次要成分更具任务特异性。该方法通过谱裁剪控制适配器奇异值增长，有效缓解灾难性遗忘问题。

研究者提出MIITA框架，通过记忆引导的推理时自适应机制，让小语言模型在有限存储下实现持续学习，有效缓解灾难性遗忘问题。