ZipLoRA: 低秩学习矩阵合并技术提升模型性能

本文介绍了一种名为 ZipLoRA 的技术，该技术可以将多个低秩学习矩阵（LoRAs）合并在一起，从而改善模型性能。相比于常规的微调，LoRAs 更加经济实惠，但是也会改变模型的行为。本文提出的 ZipLoRA 技术可以在保留每...

Read More