漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2023-10-16 talkingdev

Anyscale-将Llama 2的冷启动时间缩短至30秒

将模型从云存储加载到节点GPU通常需要大部分推理时间。通过一些巧妙的技巧,例如内存流,Anyscale将其缩短了20倍,仅需30秒即可到达Llama 2 70B。

Read More
2023-05-01 talkingdev

Wonnx推出全新GPU加速ONNX推理运行时,100%采用Rust编写,支持Web应用

以下是该新闻的核心内容: - Wonnx是一个全新的GPU加速ONNX推理运行时,它完全采用Rust编写,可用于Web应用程序。 - 比起其他推理运行时,Wonnx具有更高的性能和更低的延迟。 - Wonnx是一个开源项目,现在可以在Git...

Read More
  1. Prev Page
  2. 1
  3. 2
  4. 3