漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-09-15 talkingdev

Groq上使用Llama-3.1 70B构建o1类推理链

近日,研究人员利用Llama-3.1 70B模型在Groq平台上实现了o1类推理链的创建。这一创新方法通过结合高效的推理能力和强大的计算性能,提升了机器学习模型在复杂任务中的表现。Groq的硬件架构为Llama-3.1 70B模型提供了...

Read More
2024-04-08 talkingdev

Groq CEO宣布公司转型:不再销售硬件,全面拥抱AI云服务

近日,Groq公司的首席执行官宣布了一个重大战略转变,Groq将不再从事硬件销售业务,转而专注于提供AI云服务。这家曾以高性能硬件著称的科技公司,现在将精力集中在云计算和人工智能领域,旨在为客户提供更加先进的数...

Read More
2024-02-22 talkingdev

AI应用步入实践时代,巨头们需紧跟时代发展

近期,AI领域的重大进展,特别是谷歌的Gemini提供了超过一百万标记的上下文窗口,以及Groq的硬件使得GPT-3.5模型的响应几乎是即时的,这标志着AI应用迈入了实践时代,同时也凸显了领袖们理解和适应快速演变的AI应用...

Read More
2024-02-21 talkingdev

Sora、Groq和虚拟现实

Vision Pro和OpenAI的Sora在同一个月份推出。与此同时,Groq正在展示实时推理可能比以前想象的更可行。台积电正在推动2nm芯片,而英特尔正在做出可靠的努力加入其中。虽然虚拟现实还需要更多的工作,但现在许多关键...

Read More
2024-02-20 talkingdev

Groq的响应速度是我见过的最快的

Groq可以每秒提供高达500个令牌。它能够做到这一点,是因为它使用了使用线性处理器单元(LPUs)而不是GPU的定制硬件。 LPUs旨在为AI计算提供确定性性能。它们提供了一种更简化的方法,消除了复杂的调度硬件的需要,...

Read More