高吞吐量和内存高效的Transformer（GitHub Repo）
talkingdev • 2023-06-22
1312289 views
随着Transformer的不断流行，使用频率远远超过训练。这可能会非常慢和昂贵，但通过在GPU上进行一些巧妙的内存布局优化，它们可以获得多倍的加速。
核心要点
- 通过内存布局优化，高吞吐量和内存高效的Transformer可以获得多倍加速
- Transformer的使用频率远远超过训练，需要解决慢和昂贵的问题
- GitHub Repo提供了优化的Transformer实现