在需要专业知识的领域中使用语言模型时，可以进行微调或使用某些检索技术。但两者都有缺点。这种新颖的方法使用自动生成的合成数据来更好地学习测试时的信息。它在标准适应基准测试中显示出比微调和RAG更好的表现。

一种深入研究训练语言模型所使用的数据的方法。研究结果表明，许多闭源模型可能没有在流行的基准测试上进行训练。

当新的模型拥有惊人的性能时，人们往往会质疑它们是否真的是在验证数据或基准测试上得到了训练。去污是从输入中删除此类测试数据的过程。LMSYS团队发现，如果你重新表述测试数据，使其通过去污，但仍包含关于基准测...

您需要更多的计算能力(和选择)来微调您的生成式人工智能吗？使用实践教程和实际代码样例学习✔️。通过不同的硬件配置评估性能和加速度✔️。构建异构应用程序，开发自己的原型，并对AI工作负载进行基准测试。从免费层开...

GitHub上有一个新的工具——LongQLoRA，它可以让LLMs（语言模型）理解更长的序列。LLMs已经在自然语言处理方面取得了很大的成功，但它们的上下文理解能力有限。长序列的理解也是LLMs的一个挑战。LongQLoRA通过对序列切...

MLPerf是一个标准的机器学习性能基准测试，可以准确显示平台和模型在实际环境中的表现。最新的MLPerf Training v3.1展示了H100在绝对性能方面的惊人表现，但在比较每花费一美元的时间性能时，Intel仍然占据着优势。

CogVLM-17B是一个开放式的视觉语言模型，具有100亿视觉参数和70亿语言参数。该模型在许多标准基准测试中表现出色，并在人类评估中表现良好。CogVLM-17B的性能优于以往的模型，将为计算机视觉和自然语言处理领域的发...

研究人员推出了FACTCHD，这是一个基准测试，旨在检测像ChatGPT这样的大型语言模型在复杂情况下产生事实错误的信息。