开源的人工智能（AI）模型相比之下，对于专有模型有着显著的优势。对于大多数AI应用而言，控制能力、定制性、透明度和信任度比高级推理能力更为重要。AI原生公司应该专注于拥有他们的核心模型，而不是将他们的智能层...

MLPerf发布了两个基准测试套件的结果：MLPerf Inference v3.1和MLPerf Storage v0.5。前者显示了创纪录的参与度和性能提升，后者评估了机器学习训练工作负载的存储系统性能。推理基准测试套件引入了一个大型语言模型...

ExLlamaV2是一个在GitHub上开源的项目，它是为现代消费级图像处理单元（GPU）上运行本地语言模型（LLMs）而设计的推理库。这款推理库的出现，可以帮助用户在个人电脑上使用现代GPU进行深度学习模型的推理计算，而无...

大型语言模型（LLMs）是否具备人类般的推理能力的争论仍在进行中。一方面，有些研究显示，这些模型主要依赖于记忆和模式匹配。另一方面，也有研究显示，它们在与训练数据相关的任务中表现出色，显示出一定的推理能力...

本研究的作者们已经创建了一种方法，用以测试视觉语言模型对于他们所看到的内容进行逻辑思考的能力。视觉语言模型是一种结合了计算机视觉和自然语言处理的技术，它能理解和解释图片中的内容。然而，这种模型在理解和...

语言模型推理通常较慢，因为这些模型的运行严重依赖内存。为了解决这一问题，人们引入了使用较小的草稿模型进行推测性解码，以“提前”提供给大模型的建议。这种方法效果不错，但实现起来复杂，且寻找一个好的草稿模型...

Nvidia在人工智能领域的领先地位远非稳固。它目前的优势主要是因为几乎没有人在运行大型机器学习应用程序，竞争对手还没有成熟，研究人员拥有购买力，以及关注于模型训练方面。但在不久的将来，使用CPU进行推理将会...

前称为Generally Intelligent的Imbue公司，已经成功融资2亿美元，完成了B轮融资，公司估值超过十亿美元。这笔资金的目标是加速推理和编程能力的AI系统的开发。Imbue的使命是生产真正的个人电脑，以提高用户的选择权...