1.2万亿数据集发布，可复现Llama训练

近日，Meta发布了一份1.2万亿标记数据集，可用于复现Llama模型的训练过程。该数据集是基于Llama论文中的训练混合比例构建而成，旨在解决由于许可限制而无法商业化应用的问题。 以下是该新闻的三个核心要点： - Meta发布了一份1.2万亿标记数据集，用于复现Llama模型的训练过程。 - Llama模型由于许可限制，难以在许多商业应用中使用，但其表现出色，许多人一直在其基础上进行研究和开发。 - 未来还将发布开放模型，相信这将对Llama模型的商业应用带来更大的帮助。