训练语言模型需要数万亿高质量的标记数据。关于这些数据集构建的信息大多未公开。然而，FineWeb团队在一篇精彩的博文中讨论了不同的数据集清理和过滤策略。文章的作者们发布了许多顶级的数据集，用于语言模型训练。...

Conifer通过引入一个专门的数据集和渐进式学习方法，显著提升了大规模语言模型（LLM）对复杂指令的理解能力。该方法不仅能让LLM在处理复杂任务时表现得更为精准，还能有效减少错误率。专门的数据集涵盖了各类复杂指...

近日，计算机科学家们推出了一款名为Llama 3-V的新型人工智能模型，其与GPT4-V性能相当，但模型大小只有GPT4-V的1/100。与GPT4-V的高昂价格相比，Llama 3-V仅需500美元即可获得。这款新型模型可以应用于自然语言处理...

评估语言模型一直以来都是一个复杂的任务，尤其是在大多数评估细节都只存在于大型公司内部的情况下。这篇论文展示了一套可重复且强大的评估标准，为研究人员提供了一个实用的框架。论文中包括了对困惑度评估的详细讨...

最近，一项新的研究表明，大语言模型可以用来帮助金融分析师更快地分析公司的财务报表。这些模型可以利用自然语言处理技术，自动识别和解释公司的财务数据，为分析师提供更准确的预测和决策。这种方法已经在一些金融...

Cohere最新发布的Aya项目包含3种不同规模的模型，能够使用101种语言进行对话，其中许多语言资源极为稀缺。Aya项目的推出对于开放和普及研究社区来说是一个巨大的进步。通过这一项目，研究人员和开发者能够更广泛地获...

近年来，大型语言模型在自然语言处理领域取得了显著进展，但在长时间对话中保持记忆仍然是一个巨大的挑战。为了解决这一问题，研究人员提出了一种新的方法：Streaming Infinite Retentive LLM（SirLLM）。这种方法允...

Mistral 公司近日在 Hugging Face Hub 上发布了其 7B 模型的最新版本——Mistral 7B Instruct V3。该版本在上下文长度和性能方面都有显著提升。新的模型不仅能够处理更长的上下文，还在多个基准测试中表现出色，显示出...