DeepSeek在Hugging Face上发布了DeepSeek-V4.1-Flash-1017。该模型在推理、编码、智能体任务和视觉基准上带来显著提升，同时减少任务执行时间和输出长度，在多个智能体框架中推动性能-成本帕累托前沿前移。技术层面...

Modal官方博客介绍了Query-Aware Inference Layer（Quail）推理引擎，该引擎通过将查询规划器与推理引擎相结合，并采用KV最优左深连接优化AI-SQL查询性能，在单块H100 GPU上实现了每分钟超过10亿token的处理速度。与...

Salesforce AI Research 发布了 Random Attention 代码仓库，对应论文《Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning》。在大语言模型推理中，KV缓存占用大量显存，现有方法通常依赖学...

在大模型自回归推理过程中，KV缓存用于保存每个请求的注意力键值对，避免每一步解码都重新计算。但随着序列长度增加，KV缓存会线性膨胀，长上下文场景下甚至会消耗比模型权重更多的GPU显存，成为稀缺资源。更严重的...

一篇来自LessWrong社区的技术文章深入探讨了2023年至2031年间大型语言模型（LLM）规模扩展的物理极限。文章指出，虽然预训练算力是决定模型规模的关键，但一个常被忽视的硬性约束在于推理时的令牌生成速度。具体来说...

英伟达（NVIDIA）最新开源了LongLive 1.0框架，旨在解决长视频生成领域长期面临的实时交互难题。该框架通过引入流式注意力（Streaming Attention）和KV缓存优化（KV-cache optimization）技术，实现了对超长视频序列...

在大型语言模型领域，一种新的视角正在引发讨论：将上下文视为“软件”，而将权重视为“硬件”。这种比喻揭示了模型运作的本质差异。上下文（如KV缓存）动态地调节模型的激活值，为特定任务提供临时性的“编程”，从而实现...

随着人工智能向智能体（Agent）方向演进，传统的大模型推理基准测试正面临根本性变革。智能体工作负载不再是简单的单轮问答，而是包含多轮交互、工具调用等复杂场景。这种变化给推理引擎带来了前所未有的压力，尤其...