Groq可以每秒提供高达500个令牌。它能够做到这一点,是因为它使用了使用线性处理器单元(LPUs)而不是GPU的定制硬件。 LPUs旨在为AI计算提供确定性性能。它们提供了一种更简化的方法,消除了复杂的调度硬件的需要,...
Read More微软已研发出自己的定制AI芯片Azure Maia AI以及Azure数据中心的基于ARM架构的CPU Azure Cobalt,旨在减少对Nvidia的依赖,为AI驱动的未来做好准备。这些芯片预计将于2024年推出。据悉,这些芯片将与微软的Azure AI...
Read MoreNvidia推出了HGX H200 Tensor Core GPU,这是去年发布的H100 GPU的后续产品。H200采用Hopper架构来加速AI应用。它可能会导致更强大的AI模型和现有模型更快的响应时间。计算能力的缺乏一直是AI进步的主要瓶颈。亚马逊...
Read More