Modal官方博客介绍了Query-Aware Inference Layer（Quail）推理引擎，该引擎通过将查询规划器与推理引擎相结合，并采用KV最优左深连接优化AI-SQL查询性能，在单块H100 GPU上实现了每分钟超过10亿token的处理速度。与...

近日，Z.ai 披露了一项引人注目的技术实践：团队利用由 GLM-5.3 驱动的 Infra Agent，在不到两周时间内为 GLM-5.3-Flash 构建了可支撑 10 万张以上国产加速器的生产级推理服务栈。这并非传统的人工运维或脚本化部署...

SemiAnalysis最新披露的推理测试结果显示，NVIDIA下一代Vera Rubin NVL72平台在运行1.6万亿参数的DeepSeek模型时，每兆瓦功耗下的Token吞吐量最高达到Blackwell平台的7倍，明显高于黄仁勋此前对1T-3T规模LLM给出的3...

谷歌TPUv7 Ironwood的第三方推理结果首次在InferenceX官方预览中亮相。在与Nvidia B200/B300进行同口径FP8对比时，Ironwood每美元性能最高可领先50%，意味着单位成本下能够提供明显更强的推理吞吐。值得关注的是，Ir...

承载前沿大语言模型（LLM）的宿主机正成为高价值攻击目标。这类机器不仅拥有运行先进模型所需的GPU算力，还能直接访问模型权重，并在数据中心内具备比普通互联网主机更高的特权。最新研究指出，LLM可以生成特定token...

NVIDIA的Groq 3 LPX AI推理加速芯片现已进入全面量产阶段。Groq 3 LPX机架作为NVIDIA Vera Rubin平台的扩展，显著提升了AI推理能力，能够为响应敏感型智能体（Agentic）工作负载提供超高速的Token生成表现。在面向智...

近日，开源推理引擎WASTE正式亮相，其核心亮点在于能够运行权重规模远超宿主设备物理内存的模型。该引擎作为让强大模型在更多硬件上可用的初步举措，旨在为个人和机构在基础设施成本、数据隐私、可用性及部署方式上...

DeepSeek近日正式开源了一款名为DSpark的创新框架，旨在显著加速大型语言模型（LLM）的推理过程，据称最高能将解码速度提升85%。这一突破性进展直接针对当前AI大模型在实际应用中普遍存在的响应延迟痛点。与传统模型...