IR-QLoRA是一种新方法，它可以提高量化大型语言模型的准确性，使它们更适合在资源有限的设备上使用。量化是一种通过降低浮点精度来减少计算资源需求的技术。虽然这种方法可以大大减少模型的计算量和存储空间，但它也...

Lorax是一款支持将多个LoRA模型热插拔到单个基础模型上的推理服务器。这意味着在支持广泛的模型调整范围的同时，RAM内存占用会大幅减少。

Predibase发布了25个狭窄的任务特定LoRA，每个在特定任务上都能超越GPT-4。这些任务特定的LoRA是建立在Mistral 7B模型之上的。这再次证明了本地模型在精确任务上表现异常出色的能力。

本文介绍了LoRA+，一种优于现有Low-Rank Adaptation (LoRA)方法的微调大模型的方法。LoRA+通过为过程中的关键部分使用不同的学习速率来实现更好的性能和更快的微调，而无需增加计算需求。

控制向量(ControlVectors)是一种廉价的语义生成输出控制方法。它们的训练比LoRA更便宜，但仍然可以非常有效。这个控制向量库使得使用这种技术更加简单。控制向量库是由一群开发人员推出的，作为一项开源项目，它的代...

LoRA是一种低秩适配器，可让您仅微调语言模型中的少量参数。它们可以显着改善和改变这些模型的性能。

生成式图像模型最受欢迎的用途之一是个性化风格的图像生成。历史上，这需要训练LoRA或使用DreamBooth。现在，通过使用ID嵌入，您可以在仅使用单张图像的情况下大大提高质量并降低计算成本。

Sakana.ai正在东京建立世界级研究实验室，以建立更小、更高效的基础模型。该公司由前谷歌研究员David Ha和Llion Jones创立，他们负责转型、世界模型和LoRA等突破性技术。它已获得了来自Lux Capital的Brandon Reeves...