DeepSparse：利用稀疏性加速神经网络推理的CPU推理运行时
talkingdev • 2023-10-25
952293 views
DeepSparse是一种CPU推理运行时，它利用稀疏性加速神经网络推理。稀疏性是指神经网络中有很多权重为零的连接，DeepSparse利用这些零权重的连接，跳过不必要的计算，从而实现推理加速。DeepSparse是一个开源项目，可以在GitHub上找到它的代码库。目前，DeepSparse已经被集成到了TensorFlow中，成为了TensorFlow的一个组件。
核心要点
- DeepSparse是一种CPU推理运行时，利用稀疏性加速神经网络推理
- DeepSparse利用神经网络中的零权重连接跳过不必要的计算
- DeepSparse已经被集成到了TensorFlow中，成为了TensorFlow的一个组件