TRL

Hugging Face团队在TRL库中推出Delta权重同步功能，通过仅上传模型权重变化而非全部参数，大幅降低大规模模型训练时的存储与同步开销。