微软开源BitBLAS：优化1.58位网络内核
talkingdev • 2024-04-28
687455 views
微软近日发布了一组用于训练BitNet风格模型的GPU加速内核。这些模型在准确度上没有明显下降的情况下，大大降低了内存消耗。BitNet风格模型是一种新型的深度学习模型，它的特点是使用1.58位的数据表示方法，比传统的32位浮点数模型在内存消耗上要低很多。微软发布的这套GPU加速内核，名为BitBLAS，是专门针对这种模型优化的。BitBLAS不仅可以提高模型训练的速度，而且还可以降低内存消耗，使得深度学习模型的训练变得更为高效。
核心要点
- 微软发布了一套用于训练BitNet风格模型的GPU加速内核名为BitBLAS
- BitNet风格模型的特点是使用1.58位的数据表示方法，比传统的32位浮点数模型在内存消耗上要低很多
- BitBLAS可以提高模型训练的速度，同时降低内存消耗