漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-05-15 talkingdev

指数函数使SiLU和SoftMax两倍更快,完全保持准确性

深度学习中的SiLU和SoftMax函数在许多任务中都是必不可少的,但它们的计算成本很高。为了改进这一点,来自华盛顿大学的研究人员提出了两个新的指数函数,可以将它们的速度提高2倍,同时完全保持准确性。这些函数分别...

Read More