vLLM在AMD GPU上的推测解码实践：MTP、EAGLE-3、DFlash与DSpark性能调优指南
talkingdev • 2026-09-08
3397 views
vLLM团队发布了一份关于在AMD GPU上使用推测解码（Speculative Decoding）的实用指南。推测解码允许vLLM在单次目标模型传递中验证多个草稿token，同时保持目标模型的输出行为不变，有望显著提升推理效率。该指南基于AMD MI300X和MI355X GPU的测试，指出吞吐量高度依赖于草稿方法、提案长度、模型家族、工作负载以及token接受率。文中详细介绍了MTP、EAGLE-3、DFlash和DSpark等主流方案的配置与调优策略，为开发者在AMD硬件上部署高性能大模型推理提供了参考。这一工作有助于推动异构硬件生态下的推理优化，降低大模型服务成本。
核心要点
- 推测解码允许vLLM在单次目标模型传递中验证多个草稿token，且保持输出行为
- AMD MI300X和MI355X测试表明吞吐量受草稿方法、提案长度、模型家族、工作负载和token接受率影响
- 提供MTP、EAGLE-3、DFlash和DSpark的配置与调优指南