1比特语言模型的研究为深度学习领域带来了新的突破。该技术通过在不损失性能的前提下,对语言模型中的线性层进行量化处理,实现了模型大小的大幅压缩。这一创新使得原本只能在高性能计算平台上运行的700亿参数模型,...
Read More人工智能的近期成就归功于三个主要因素:高效机器学习算法的创新、海量数据集的支持以及半导体技术的进步带来的能源高效计算。为了保持当前的发展速度,行业需要更为强大的设备。在过去的五十年中,行业一直专注于晶...
Read More近日,英伟达的GPU在MLPerf推理测试中取得了优异的成绩,尤其是H200型号。MLPerf推理测试是业界公认的深度学习性能评估基准,对AI系统的推理能力进行全方位评测。在此次测试中,英伟达的GPU展现了其在处理复杂机器学...
Read More科技巨头Databrix与Mosaic合作,成功训练了一个具有132B参数的混合专家(MoE)模型。该模型在3000个H100 GPU上进行了训练,目前其权重文件已经公开发布。此外,该模型也已在Databricks API上提供服务,供企业和开发...
Read More微软为构建AI电脑的OEM厂商设定了新规范,其中包括必须配备Copilot键的要求。要被认定为AI电脑,OEM合作伙伴还必须提供包括神经处理单元(NPU)、最新CPU和GPU以及访问Copilot在内的硬件和软件组合。目前尚不清楚OEM...
Read MoreAnyscale与NVIDIA最近宣布了一项新的合作伙伴关系,旨在帮助客户将生成式AI模型扩展到生产环境中。通过这次合作,客户可以将Ray与Anyscale的托管运行环境相结合,以提高资源管理、可观测性和自动扩缩容的能力。这项...
Read MoreNVIDIA公司通过控制GPU和CUDA平台,形成了其在市场上的独特优势。CUDA简化了开发者从NVIDIA硬件中获益的过程,这一优势的确立得益于NVIDIA在CUDA生态系统上多年的投资和数十亿美元的投入。尽管未来可能会有竞争者项...
Read MoreTrigon 是一个允许开发者以类似 Python 的方式编写 CUDA 内核的库,近期正逐渐获得关注。该库的 GitHub 仓库中包含了一系列难度逐步提升的谜题,旨在鼓励开发者学习和掌握这一工具。这些谜题不仅有助于新手快速上手...
Read More