Modal官方博客介绍了Query-Aware Inference Layer（Quail）推理引擎，该引擎通过将查询规划器与推理引擎相结合，并采用KV最优左深连接优化AI-SQL查询性能，在单块H100 GPU上实现了每分钟超过10亿token的处理速度。与...

vLLM 作为高性能大语言模型推理引擎，正通过引入硬件无关层来进一步扩展其硬件兼容性。该设计使模型能够在多种硬件平台上高效运行，同时维持较高的推理性能。官方数据显示，这些硬件无关层在 NVIDIA H100 GPU 上最高...

Cohere近日公布了专为North Mini Code模型打造的超内核（Megakernel）推理服务引擎，将一次完整的解码过程合并进一个常驻GPU内核，而不是像传统方案那样为每个操作启动独立内核。这种设计能够显著减少内核启动开销和...

vLLM团队发布了一份关于在AMD GPU上使用推测解码（Speculative Decoding）的实用指南。推测解码允许vLLM在单次目标模型传递中验证多个草稿token，同时保持目标模型的输出行为不变，有望显著提升推理效率。该指南基于...

在大模型自回归推理过程中，KV缓存用于保存每个请求的注意力键值对，避免每一步解码都重新计算。但随着序列长度增加，KV缓存会线性膨胀，长上下文场景下甚至会消耗比模型权重更多的GPU显存，成为稀缺资源。更严重的...

Qwen团队在Hugging Face发布Qwen3.8-2.4T-A95B模型。该模型基于Qwen3.5架构演进而来，重点提升编码与长时程任务处理能力，并通过改进的智能体执行机制提高任务完成可靠性。它支持SGLang、vLLM等主流部署框架，可较顺...

英伟达NeMo团队近日在GitHub上开源了一个名为Molt的智能体强化学习框架。该框架采用PyTorch原生设计，核心理念是将智能体本身视为可执行的程序，而非传统强化学习中固定的策略网络。Molt支持高度灵活的自定义Python...

Netflix 近期公开了其内部自研的大语言模型（LLM）推理服务平台的设计与实践。与依赖外部托管 API 不同，该平台将模型部署和推理完全集成到 Netflix 现有的生产环境中，既保障了数据安全与低延迟，又实现了对模型的...