Groq的响应速度是我见过的最快的
talkingdev • 2024-02-20
611754 views
Groq可以每秒提供高达500个令牌。它能够做到这一点，是因为它使用了使用线性处理器单元（LPUs）而不是GPU的定制硬件。 LPUs旨在为AI计算提供确定性性能。它们提供了一种更简化的方法，消除了复杂的调度硬件的需要，使每个时钟周期能够得到有效利用。该系统确保一致的延迟和吞吐量。LPUs可以互相连接而不像GPU集群中发现的传统瓶颈，使它们具有极高的可扩展性。