MLPerf发布了两个基准测试套件的结果：MLPerf Inference v3.1和MLPerf Storage v0.5。前者显示了创纪录的参与度和性能提升，后者评估了机器学习训练工作负载的存储系统性能。推理基准测试套件引入了一个大型语言模型...

Patronus AI近日宣布获得由Lightspeed领投的300万美元种子轮融资，该团队计划构建真实世界评分体系，以帮助企业理解LLMs（大型语言模型）的实用性。在当前，大型语言模型在企业中的应用越来越广泛，然而，将其真正落...

ExLlamaV2是一个在GitHub上开源的项目，它是为现代消费级图像处理单元（GPU）上运行本地语言模型（LLMs）而设计的推理库。这款推理库的出现，可以帮助用户在个人电脑上使用现代GPU进行深度学习模型的推理计算，而无...

本文分享了七种实用模式，用于将大型语言模型（LLM）整合到系统中：性能测量、添加最新知识、微调任务、缓存以节省时间/成本、确保质量输出、错误管理以及利用用户反馈。首先，性能测量是衡量模型在实际应用中的效果...

大型语言模型（LLMs）是否具备人类般的推理能力的争论仍在进行中。一方面，有些研究显示，这些模型主要依赖于记忆和模式匹配。另一方面，也有研究显示，它们在与训练数据相关的任务中表现出色，显示出一定的推理能力...

本研究的作者们已经创建了一种方法，用以测试视觉语言模型对于他们所看到的内容进行逻辑思考的能力。视觉语言模型是一种结合了计算机视觉和自然语言处理的技术，它能理解和解释图片中的内容。然而，这种模型在理解和...

语言模型推理通常较慢，因为这些模型的运行严重依赖内存。为了解决这一问题，人们引入了使用较小的草稿模型进行推测性解码，以“提前”提供给大模型的建议。这种方法效果不错，但实现起来复杂，且寻找一个好的草稿模型...

近日，GitHub发布了名为PointLLM的新工具，该工具的主要功能是帮助语言模型理解3D对象，而非仅限于文本和2D图像。这一工具的出现，标志着语言模型在处理和理解更为复杂的三维信息方面迈出了重要一步，这将极大地推动...