承载前沿大语言模型（LLM）的宿主机正成为高价值攻击目标。这类机器不仅拥有运行先进模型所需的GPU算力，还能直接访问模型权重，并在数据中心内具备比普通互联网主机更高的特权。最新研究指出，LLM可以生成特定token...

NVIDIA的Groq 3 LPX AI推理加速芯片现已进入全面量产阶段。Groq 3 LPX机架作为NVIDIA Vera Rubin平台的扩展，显著提升了AI推理能力，能够为响应敏感型智能体（Agentic）工作负载提供超高速的Token生成表现。在面向智...

近日，开源推理引擎WASTE正式亮相，其核心亮点在于能够运行权重规模远超宿主设备物理内存的模型。该引擎作为让强大模型在更多硬件上可用的初步举措，旨在为个人和机构在基础设施成本、数据隐私、可用性及部署方式上...

DeepSeek近日正式开源了一款名为DSpark的创新框架，旨在显著加速大型语言模型（LLM）的推理过程，据称最高能将解码速度提升85%。这一突破性进展直接针对当前AI大模型在实际应用中普遍存在的响应延迟痛点。与传统模型...

Morph LLM近期发布了一系列针对开源代码生成模型的优化技术，旨在解决当前推理效率瓶颈。首先，团队通过训练一个专注于模型自身编码输出（而非通用互联网数据）的“起草模型”（drafter），在投机解码中取得了显著加速...

Hugging Face 团队近日发布了一项名为“Delta Weight Sync”的创新技术，旨在解决大规模强化学习（RL）训练中的通信瓶颈问题。在训练拥有万亿参数量的模型时，传统的权重同步方式需要在训练器（Trainer）和推理引擎（I...

随着人工智能向智能体（Agent）方向演进，传统的大模型推理基准测试正面临根本性变革。智能体工作负载不再是简单的单轮问答，而是包含多轮交互、工具调用等复杂场景。这种变化给推理引擎带来了前所未有的压力，尤其...

近日，多家领先的AI推理服务提供商，包括Baseten、DeepInfra、Fireworks AI和Together AI，宣布通过在其服务中部署基于NVIDIA Blackwell架构的GPU并运行开源模型，成功将每次推理的令牌成本大幅降低了高达10倍。这一...