vLLM团队发布了一份关于在AMD GPU上使用推测解码（Speculative Decoding）的实用指南。推测解码允许vLLM在单次目标模型传递中验证多个草稿token，同时保持目标模型的输出行为不变，有望显著提升推理效率。该指南基于...

Salesforce AI Research 发布了 Random Attention 代码仓库，对应论文《Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning》。在大语言模型推理中，KV缓存占用大量显存，现有方法通常依赖学...

Three-LLM 项目展示了一种全新的浏览器端大模型推理路径：它将 GPT-2、SmolLM2、Qwen 和 Phi 等模型的推理图，直接翻译为 Three.js TSL 计算着色器，并借助 WebGPU 在本地完成计算。与常见方案不同，它不需要服务端...

在大模型自回归推理过程中，KV缓存用于保存每个请求的注意力键值对，避免每一步解码都重新计算。但随着序列长度增加，KV缓存会线性膨胀，长上下文场景下甚至会消耗比模型权重更多的GPU显存，成为稀缺资源。更严重的...

苹果生态中内存长期被认为是大模型本地推理的瓶颈，而TurboFieldfare项目提供了一个极具突破意义的解决方案。这个专门为Apple Silicon Mac设计的自定义运行时，让庞大的Gemma 4 26B-A4B模型（完整加载需约14.3 GB内...

谷歌云在Gemini企业智能体平台上正式推出Gemini蒸馏服务（Gemini Distillation Service），旨在通过大型“教师”模型的输出和推理路径，训练出更小、更高效的“学生”模型。该服务专门针对高吞吐量、低延迟严苛要求的应...

Petals 是一个颠覆性的点对点网络平台，它让普通用户能够在自己家中，仅凭消费级GPU甚至是免费的Google Colab笔记本环境，就运行起像 Llama 3.1、Mixtral、Falcon 和 BLOOM 这类巨型语言模型。其核心技术思路是将大...

DeepSeek近日正式开源了一款名为DSpark的创新框架，旨在显著加速大型语言模型（LLM）的推理过程，据称最高能将解码速度提升85%。这一突破性进展直接针对当前AI大模型在实际应用中普遍存在的响应延迟痛点。与传统模型...