Groq的响应速度是我见过的最快的

Groq可以每秒提供高达500个令牌。它能够做到这一点，是因为它使用了使用线性处理器单元（LPUs）而不是GPU的定制硬件。 LPUs旨在为AI计算提供确定性性能。它们提供了一种更简化的方法，消除了复杂的调度硬件的需要，...

Read More