谷歌宣布其最新的人工智能芯片Cloud TPU v5p现已问世。这款芯片的训练速度是前代TPU v4的近三倍，尤其在大型语言模型的训练上表现出色。这一发布进一步巩固了谷歌在AI硬件领域与其他竞争对手如Nvidia的竞争优势。同...

MLPerf 近日更新了其推理基准测试，新增了如 Llama 2 70B 和 Stable Diffusion XL 等大型语言模型，这一变化体现了整个行业对于大型生成型人工智能的转移。在最新测试中，Nvidia 的系统，尤其是搭载了 H200 处理器的...

Humanity.tools（Tools for Humanity）为Worldcoin Orb开发了一个安全且强大的计算环境，该环境采用NVIDIA Jetson进行处理，并使用Arm Cortex M4微控制器执行实时功能。Orb运行Rust应用程序，并使用NVIDIA的TensorRT...

英伟达在其GitHub仓库Optimum-Nvidia中发布了TensorRT的最新更新，这一更新使得AI推理速度大幅提高，达到了比基线快28倍的速度。特别是在Llama 2的基准测试中，能够达到每秒处理1200个令牌的惊人速度。这一进步得益...

Anyscale与NVIDIA最近宣布了一项新的合作伙伴关系，旨在帮助客户将生成式AI模型扩展到生产环境中。通过这次合作，客户可以将Ray与Anyscale的托管运行环境相结合，以提高资源管理、可观测性和自动扩缩容的能力。这项...

NVIDIA公司通过控制GPU和CUDA平台，形成了其在市场上的独特优势。CUDA简化了开发者从NVIDIA硬件中获益的过程，这一优势的确立得益于NVIDIA在CUDA生态系统上多年的投资和数十亿美元的投入。尽管未来可能会有竞争者项...

Cohere近日推出了专为大规模生产而优化的RAG（Retrieval-Augmented Generation）模型Command-R，并宣布将该模型引入NVIDIA新推出的API目录。Command-R模型结合了检索与生成技术，能够助力企业快速进入大规模生产环境...

韩国科学技术院(KAIST)的研究人员成功研发了C-Transformer，这是一款面向大型语言模型的超低功耗AI芯片，其能效表现显著优于Nvidia的A100 GPU。C-Transformer的问世，为AI领域的能源效率提升设立了新的标杆，有望推...