微软近日发布了一组用于训练BitNet风格模型的GPU加速内核。这些模型在准确度上没有明显下降的情况下，大大降低了内存消耗。BitNet风格模型是一种新型的深度学习模型，它的特点是使用1.58位的数据表示方法，比传统的3...

据报道，微软正在打造自己的人工智能服务器硬件，以减少对英伟达的依赖。目前，微软在其云计算平台Azure上使用英伟达的GPU加速器来提高人工智能处理速度。不过，为了降低成本和提高灵活性，微软现在正在开发自己的AI...

本文简要介绍了硬件特定的矩阵乘法优化和一般流程，以加速AI代码。现代深度学习算法中，矩阵乘法是常见的操作。优化矩阵乘法的实现可以显著提高模型的训练和推理速度，进而提高模型的准确性和效率。矩阵乘法优化的主...

将模型从云存储加载到节点GPU通常需要大部分推理时间。通过一些巧妙的技巧，例如内存流，Anyscale将其缩短了20倍，仅需30秒即可到达Llama 2 70B。

以下是该新闻的核心内容： - Wonnx是一个全新的GPU加速ONNX推理运行时，它完全采用Rust编写，可用于Web应用程序。 - 比起其他推理运行时，Wonnx具有更高的性能和更低的延迟。 - Wonnx是一个开源项目，现在可以在Git...