Stability AI训练了数十亿令牌的HuggingFace语言模型

以下是该新闻的要点： - Stability AI的新款StableLM模型已经训练了大约800B个令牌，目标是达到1.5T个令牌 - StableLM模型有3B和7B个参数，并且具有4k令牌的上下文长度 - StableLM模型是经过允许商业使用的许可证的，并使用The Pile的修改版本进行训练 值得一提的是，它们还有“调整”的版本，使用了各种对话和指令数据集。这些调整版本有系统提示，这使它们成为第一个允许这种导向的开放模型之一。