新指数函数使SiLU和SoftMax两倍更快，完全保持准确性
talkingdev • 2024-05-15
366087 views
深度学习中的SiLU和SoftMax函数在许多任务中都是必不可少的，但它们的计算成本很高。为了改进这一点，来自华盛顿大学的研究人员提出了两个新的指数函数，可以将它们的速度提高2倍，同时完全保持准确性。这些函数分别称为快速SiLU（Fast SiLU）和快速SoftMax（Fast SoftMax）。研究人员已经在几个常见的深度学习任务上测试了这些函数，并发现它们的速度提高了2倍，而精度则与传统函数相同。这些函数可以很容易地替换掉现有的函数，因此可以很容易地应用于现有的深度学习框架中。