Qwen团队发布了两个新的语言模型，分别是1.8B和72B的LLMs，与Llama 2相似，这些模型训练了3T个标记，并且在许多任务上表现出色。除了发布聊天版本和量化版本外，这些模型还在推理、数学和代码方面表现出色。

研究人员创建了OpenMathInstruct-1，这是一个用于训练开源大型语言模型数学的新数据集，可与闭源模型的性能相匹配。这一突破包含180万个问题解决对，为更加可访问和有竞争力的数学教学AI工具打开了大门。

GitHub近日开源了一项名为RoCo的新策略，该策略旨在提高LLM在有限资源环境下的效率。RoCo是一种强大的缓存遗漏策略，可以帮助用户更好地使用LLM。该政策的发布将有助于优化机器学习应用的性能，提高效率。RoCo的开源...

最近，研究人员提出了一种新方法，称为SLEB，可以通过剪枝冗余的变压器块来加速大型语言模型（LLMs）的训练和推理。该方法可以减少存储空间和计算成本，同时保持模型的准确性。SLEB通过自适应的剪枝技术来删除冗余的...

Cohere的非营利研究实验室C4AI发布了一个名为Aya的模型，这是一个新的最先进的开源大规模多语言研究LLM，涵盖101种语言，包括50多种以前未得到服务的语言。

Meta使用大型语言模型为其代码库编写测试，发现测试覆盖率和整体代码质量都有了实质性的提高。这种方法可以有效地帮助开发人员减少手动编写测试的时间和成本，并且可以提高测试的效率和准确性。Meta表示，他们使用了...

构建特定领域、基于聊天的LLM应用和协同工具比人们想象的更具挑战性。其中一些挑战包括实现强大的性能、处理复杂的数据和复杂的查询，以及为基于LLM的聊天应用程序实现强大的数据检索。

研究人员对是否可能判断数据点是否用于训练大型语言模型进行了全面研究。他们测试了各种模型，并发现，在大多数情况下，这些攻击并不比随机猜测更好。