Three-LLM 实现浏览器本地运行大模型：基于 WebGPU 与 Three.js 将解码速度提升至 566 tokens/s

Three-LLM 项目展示了一种全新的浏览器端大模型推理路径：它将 GPT-2、SmolLM2、Qwen 和 Phi 等模型的推理图，直接翻译为 Three.js TSL 计算着色器，并借助 WebGPU 在本地完成计算。与常见方案不同，它不需要服务端...

Read More