开源|WebLLM：基于WebGPU在浏览器中高性能运行开源大模型

WebLLM 是 MLC AI 推出的高性能浏览器端大语言模型推理引擎，它借助 WebGPU 将开源模型的加载与推理全过程放在用户浏览器内完成，不需要后端服务器。该项目提供兼容 OpenAI 的 API，可支持流式输出、JSON 模式等聊天...

Read More