Predibase发布了25个狭窄的任务特定LoRA,每个在特定任务上都能超越GPT-4。这些任务特定的LoRA是建立在Mistral 7B模型之上的。这再次证明了本地模型在精确任务上表现异常出色的能力。
Read More本文介绍了LoRA+,一种优于现有Low-Rank Adaptation (LoRA)方法的微调大模型的方法。LoRA+通过为过程中的关键部分使用不同的学习速率来实现更好的性能和更快的微调,而无需增加计算需求。
Read More控制向量(ControlVectors)是一种廉价的语义生成输出控制方法。它们的训练比LoRA更便宜,但仍然可以非常有效。这个控制向量库使得使用这种技术更加简单。控制向量库是由一群开发人员推出的,作为一项开源项目,它的代...
Read More生成式图像模型最受欢迎的用途之一是个性化风格的图像生成。历史上,这需要训练LoRA或使用DreamBooth。现在,通过使用ID嵌入,您可以在仅使用单张图像的情况下大大提高质量并降低计算成本。
Read MoreSakana.ai正在东京建立世界级研究实验室,以建立更小、更高效的基础模型。该公司由前谷歌研究员David Ha和Llion Jones创立,他们负责转型、世界模型和LoRA等突破性技术。它已获得了来自Lux Capital的Brandon Reeves...
Read More有很多方式可以对齐语言模型,例如SFT、LoRa、RLHF、DPO、Prompting和Threatening。本研究提出使用负嵌入加到偏置项中,以将模型生成推向期望的结果。
Read More本文介绍了一种名为 ZipLoRA 的技术,该技术可以将多个低秩学习矩阵(LoRAs)合并在一起,从而改善模型性能。相比于常规的微调,LoRAs 更加经济实惠,但是也会改变模型的行为。本文提出的 ZipLoRA 技术可以在保留每...
Read More