MI300X是AMD的旗舰人工智能加速器。随着ROCm 6的推出，它现在在推理工作负载方面接近于NVIDIA的性能。这对社区来说是个好消息，因为它为新兴的人工智能公司打开了使用替代芯片的可能性。

近日，关于OpenAI Q*的传言引发了广泛的讨论。OpenAI Q*被认为是可能会引领人工智能迈向通用推理能力的重要一步。然而，OpenAI Q*并不太可能成为导致人工智能普适智能的关键突破口。OpenAI Q*是一种基于强化学习的模...

研究人员提出了一个新颖的框架，将人工智能程序视为心理研究中的参与者。该框架有三个步骤：在一系列实验中测试程序的推理能力，测试其对自身推理方式的理解，并且如有可能，检查程序源代码的认知适应性。虽然目前的...

本文包含几个新的人工智能发展故事。这些故事涵盖了人工智能领域的竞争、行业就业现状、人工智能战略、Sourcegraph的Cody AI编码助手正式上线等。多年来致力于为其代码添加注释的工程师们为大型语言模型推理其代码提...

随着开放模型在许多企业任务中变得有用，人们开始探索部署优化。然而，这个领域很复杂且分散。本文深入探讨了许多用于加速语言模型服务的标准技术。

Stable Fast是HuggingFace扩散模型的推理引擎，通过它可以进行快速的Diffusers推理。该推理引擎在多种硬件上实现了出色的性能，包括CPU和GPU。此外，Stable Fast还兼容多个框架，包括PyTorch和TensorFlow。在GitHub...

Align API 通过主动识别可能包含敏感内容的提示，防止这些提示被用于推理，从而节省不必要的成本，保护品牌，并防止被 OpenAI、苹果应用商店或 Google Play 等平台封禁。

加速自回归语言模型推理的方式有很多。人们正在热衷于使用草稿模型的一种方式。这需要两个模型，但速度可能会更慢。然而，通过从相同模型生成相关的n-gram，可以减轻对草稿模型的需求，并使生成速度线性加快。