AI2发布全面开放的开放语言模型OLMo
talkingdev • 2024-02-05
654925 views
AI2发布了一个完全开放的语言模型训练框架，名为OLMo。该模型提供全面的资源，包括完整的训练数据、模型权重、训练和评估代码、每个模型超过500个检查点，以及未来的微调代码，所有这些都遵循Apache 2.0许可证。这些资源是由AI2的Dolma和WIMBD提供的。它们包括评估框架Catwalk和Paloma，以及通过Weights＆Biases日志和HuggingFace修订进行分析和微调的支持。该模型在同类中具有竞争力。
核心要点
- AI2发布全面开放的开放语言模型OLMo
- OLMo提供全面的资源，包括完整的训练数据、模型权重、训练和评估代码、每个模型超过500个检查点，以及未来的微调代码
- OLMo在同类中具有竞争力