Red Pajama v2已发布。它比用于训练GPT-4的数据集大2.5倍。它包含5种语言的多语言数据，并具有令人印象深刻的广度。重要的是，已经完成了许多去重工作和一些启发式过滤工作，没有代码数据。

在谷歌的新数据集发布后，CulturaX紧随其后，推出了新的数据集。这是一个清洁整理过的多语言数据标记集，总量达到了6T。这一数据集的发布，将为多语言语言模型的进一步发展提供巨大的助力。谷歌和CulturaX的这两次数...