低秩适配

研究者提出SCLoRA方法，通过分析网络参数的奇异值分解，发现大奇异值的主成分在微调时可重用，而小奇异值的次要成分更具任务特异性。该方法通过谱裁剪控制适配器奇异值增长，有效缓解灾难性遗忘问题。

研究发现英语大模型已具备阿拉伯语医疗知识，但输出层存在表达障碍。通过针对性低秩适配技术，可在不全面微调的情况下显著提升阿拉伯语医疗任务表现。