llm-d 发布 Kubernetes 原生分布式推理栈，一次部署即可跨 GPU/TPU/NPU 扩展
talkingdev • 2026-10-21
1568 views
llm-d 是一个面向分布式大语言模型推理的 Kubernetes 原生技术栈，致力于将 vLLM、SGLang 等单节点推理引擎转化为可运行在本地硬件集群上的生产级服务。该项目的核心价值在于为常见的生产部署模式提供经过测试的配方，使团队可以基于不同模型、硬件和工作负载快速获得可适配的起点，而不是从零搭建推理基础设施。llm-d 强调跨异构算力的统一部署体验，宣称能够在 GPU、TPU、XPU、CPU 以及新兴 NPU 上运行生产级 LLM 推理，并提供一致的性能模式。这种设计有助于降低大模型服务在混合硬件环境中的运维复杂度，让企业更灵活地利用本地算力，并以更可预测的成本和行为实现从单节点到多集群的扩展。随着企业级生成式 AI 从云端试用走向私有化、边缘化和混合部署，这类云原生推理编排方案或将加速 LLM 推理基础设施的标准化进程。
核心要点
- llm-d 是 Kubernetes 原生的分布式 LLM 推理栈，可将 vLLM、SGLang 等单节点引擎升级为集群级生产服务。
- 提供经过测试的部署配方，覆盖常见生产模式，适配不同模型、硬件与工作负载。
- 支持 GPU、TPU、XPU、CPU 与 NPU 等异构硬件，追求一次部署、多环境扩展和可预测成本。