Deepspeed开源推理工具软件发布

talkingdev • 2023-11-07

914724 views

Deepspeed推出了一款新软件，旨在与vLLM和文本生成界面竞争，以快速提供语言模型服务。该软件配备了许多最先进的加速功能，初步结果表明，速度提升了2.4倍。