漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-05-06 talkingdev

Bonito-从非结构化数据集生成合成指令数据集

Bonito是一个模型和工具包,设计用于接收非结构化文本作为输入,然后创建特定类型的指令数据集,如问答、指令和摘要。该工具包的主要目标是提取出文本的主要信息,然后根据这些信息生成一系列的用户指令,这些指令可...

Read More
2023-11-29 talkingdev

CoachLM引入新型AI技术可提高指令质量

针对LLM(语言模型)的指令数据集,CoachLM引入了一种新型AI技术,通过修改而非删除低质量样本独特地改进了数据集,从而显著提高了LLM遵循指令的效果。

Read More
2023-07-08 talkingdev

提升LLMs问题解决能力的新技术——FLACUNA

最近一份技术报告详细介绍了FLACUNA,这是一种可以提高问题解决能力的语言模型。FLACUNA是通过使用一个名为FLANMINI的自定义指令数据集对VICUNA进行微调而创建的,VICUNA是另一种大型语言模型。FLACUNA的出现,对于...

Read More
2023-04-20 talkingdev

Stability AI训练了数十亿令牌的HuggingFace语言模型

以下是该新闻的要点: - Stability AI的新款StableLM模型已经训练了大约800B个令牌,目标是达到1.5T个令牌 - StableLM模型有3B和7B个参数,并且具有4k令牌的上下文长度 - StableLM模型是经过允许商业使用的许可证的...

Read More