Predibase发布了25个狭窄的任务特定LoRA，每个在特定任务上都能超越GPT-4。这些任务特定的LoRA是建立在Mistral 7B模型之上的。这再次证明了本地模型在精确任务上表现异常出色的能力。

本文介绍了LoRA+，一种优于现有Low-Rank Adaptation (LoRA)方法的微调大模型的方法。LoRA+通过为过程中的关键部分使用不同的学习速率来实现更好的性能和更快的微调，而无需增加计算需求。

控制向量(ControlVectors)是一种廉价的语义生成输出控制方法。它们的训练比LoRA更便宜，但仍然可以非常有效。这个控制向量库使得使用这种技术更加简单。控制向量库是由一群开发人员推出的，作为一项开源项目，它的代...

LoRA是一种低秩适配器，可让您仅微调语言模型中的少量参数。它们可以显着改善和改变这些模型的性能。

生成式图像模型最受欢迎的用途之一是个性化风格的图像生成。历史上，这需要训练LoRA或使用DreamBooth。现在，通过使用ID嵌入，您可以在仅使用单张图像的情况下大大提高质量并降低计算成本。

Sakana.ai正在东京建立世界级研究实验室，以建立更小、更高效的基础模型。该公司由前谷歌研究员David Ha和Llion Jones创立，他们负责转型、世界模型和LoRA等突破性技术。它已获得了来自Lux Capital的Brandon Reeves...

有很多方式可以对齐语言模型，例如SFT、LoRa、RLHF、DPO、Prompting和Threatening。本研究提出使用负嵌入加到偏置项中，以将模型生成推向期望的结果。

本文介绍了一种名为 ZipLoRA 的技术，该技术可以将多个低秩学习矩阵（LoRAs）合并在一起，从而改善模型性能。相比于常规的微调，LoRAs 更加经济实惠，但是也会改变模型的行为。本文提出的 ZipLoRA 技术可以在保留每...