漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-02-23 talkingdev

Predibase发布25个LoRA,超越GPT-4的Mistral模型

Predibase发布了25个狭窄的任务特定LoRA,每个在特定任务上都能超越GPT-4。这些任务特定的LoRA是建立在Mistral 7B模型之上的。这再次证明了本地模型在精确任务上表现异常出色的能力。

Read More
2024-02-22 talkingdev

LoRA+:优化模型微调的新方案

本文介绍了LoRA+,一种优于现有Low-Rank Adaptation (LoRA)方法的微调大模型的方法。LoRA+通过为过程中的关键部分使用不同的学习速率来实现更好的性能和更快的微调,而无需增加计算需求。

Read More
2024-02-21 talkingdev

控制向量库开源,轻松地实现语义生成

控制向量(ControlVectors)是一种廉价的语义生成输出控制方法。它们的训练比LoRA更便宜,但仍然可以非常有效。这个控制向量库使得使用这种技术更加简单。控制向量库是由一群开发人员推出的,作为一项开源项目,它的代...

Read More
2024-01-24 talkingdev

从零开始深入解析LoRA

LoRA是一种低秩适配器,可让您仅微调语言模型中的少量参数。它们可以显着改善和改变这些模型的性能。

Read More
2024-01-22 talkingdev

腾讯开源PhotoMaker生成风格化人像

生成式图像模型最受欢迎的用途之一是个性化风格的图像生成。历史上,这需要训练LoRA或使用DreamBooth。现在,通过使用ID嵌入,您可以在仅使用单张图像的情况下大大提高质量并降低计算成本。

Read More
2024-01-22 talkingdev

小模型公司Sakana AI获得3000万美元种子轮融资

Sakana.ai正在东京建立世界级研究实验室,以建立更小、更高效的基础模型。该公司由前谷歌研究员David Ha和Llion Jones创立,他们负责转型、世界模型和LoRA等突破性技术。它已获得了来自Lux Capital的Brandon Reeves...

Read More
2024-01-09 talkingdev

对比激活下的Steering Llama 2技术

有很多方式可以对齐语言模型,例如SFT、LoRa、RLHF、DPO、Prompting和Threatening。本研究提出使用负嵌入加到偏置项中,以将模型生成推向期望的结果。

Read More
2023-11-28 talkingdev

ZipLoRA: 低秩学习矩阵合并技术提升模型性能

本文介绍了一种名为 ZipLoRA 的技术,该技术可以将多个低秩学习矩阵(LoRAs)合并在一起,从而改善模型性能。相比于常规的微调,LoRAs 更加经济实惠,但是也会改变模型的行为。本文提出的 ZipLoRA 技术可以在保留每...

Read More
  1. Prev Page
  2. 17
  3. 18
  4. 19
  5. Next Page