微软开源BitBLAS:优化1.58位网络内核
talkingdev • 2024-04-28
417951 views
微软近日发布了一组用于训练BitNet风格模型的GPU加速内核。这些模型在准确度上没有明显下降的情况下,大大降低了内存消耗。BitNet风格模型是一种新型的深度学习模型,它的特点是使用1.58位的数据表示方法,比传统的32位浮点数模型在内存消耗上要低很多。微软发布的这套GPU加速内核,名为BitBLAS,是专门针对这种模型优化的。BitBLAS不仅可以提高模型训练的速度,而且还可以降低内存消耗,使得深度学习模型的训练变得更为高效。
![image](https://cdn.uwl.me/download/noco/p_6njvfr9bgsleix/md_ob96p7955d8r6r/cl_gtg9ufaaz5fmap/image_SQSpb.png)
核心要点
- 微软发布了一套用于训练BitNet风格模型的GPU加速内核名为BitBLAS
- BitNet风格模型的特点是使用1.58位的数据表示方法,比传统的32位浮点数模型在内存消耗上要低很多
- BitBLAS可以提高模型训练的速度,同时降低内存消耗