训练语言模型需要数万亿高质量的标记数据。关于这些数据集构建的信息大多未公开。然而，FineWeb团队在一篇精彩的博文中讨论了不同的数据集清理和过滤策略。文章的作者们发布了许多顶级的数据集，用于语言模型训练。...

TrainAllInfAttn是一种能够在数据稀缺的专业领域提升大语言模型表现的方法。随着人工智能技术的不断发展，如何在数据有限的情况下仍能保持模型的高效性和准确性成为了一个重要的研究方向。TrainAllInfAttn通过优化模...

Conifer通过引入一个专门的数据集和渐进式学习方法，显著提升了大规模语言模型（LLM）对复杂指令的理解能力。该方法不仅能让LLM在处理复杂任务时表现得更为精准，还能有效减少错误率。专门的数据集涵盖了各类复杂指...

随着人工智能技术的飞速发展，利用AI构建产品和系统变得前所未有的便捷。然而，要超越简单的演示，打造真正有效的产品与系统，仍存在诸多挑战。本文通过作者一年来使用大型语言模型（LLMs）构建应用程序的经验，为读...

Pliny the Prompter在OpenAI最新的基础模型GPT-4o发布后仅数小时就公布了破解方案。该破解允许用户使模型输出明确的受版权保护的歌词、制造禁令物品的说明、攻击策略计划以及基于X光的医疗建议。Pliny已在大约9个月...

自去年推出以来，语言模型（LLMs）已成为人工智能领域的热点。一年来，我们使用LLMs构建了许多项目，并从中获得了许多宝贵的经验教训。首先，LLMs需要大量的数据来进行训练，只有这样才能产生准确的结果。其次，LLMs...

Yuan 2.0-M32是一款具备40亿参数的专家混合模型，其中任意时刻仅有3.7亿参数处于激活状态。尽管其计算需求仅为Llama 3 70B的1/19，但其性能却接近后者。该模型在2万亿个token上进行了训练，展现出了令人惊讶的强大性...

随着大型语言模型性能的提升，其对能源和计算能力的渴求也随之增加。为降低成本，提高处理速度，同时减少对环境的影响，模型需要实现更小型化。研究人员目前采用一种名为量化的技术，通过减少模型参数的精度来压缩网...