论文：消费级GPU上的LLMs PowerInfer
talkingdev • 2023-12-25
776584 views
本文探讨了模型拥有热神经元和很少使用的冷神经元的想法。通过将热神经元预加载到GPU上，您可以节省内存而不会牺牲太多吞吐量。同时，该文提供了一个可用的代码库。
talkingdev • 2023-12-25
776584 views
本文探讨了模型拥有热神经元和很少使用的冷神经元的想法。通过将热神经元预加载到GPU上，您可以节省内存而不会牺牲太多吞吐量。同时，该文提供了一个可用的代码库。