将模型从云存储加载到节点GPU通常需要大部分推理时间。通过一些巧妙的技巧，例如内存流，Anyscale将其缩短了20倍，仅需30秒即可到达Llama 2 70B。

以下是该新闻的核心内容： - Wonnx是一个全新的GPU加速ONNX推理运行时，它完全采用Rust编写，可用于Web应用程序。 - 比起其他推理运行时，Wonnx具有更高的性能和更低的延迟。 - Wonnx是一个开源项目，现在可以在Git...