vLLM团队发布了一份关于在AMD GPU上使用推测解码(Speculative Decoding)的实用指南。推测解码允许vLLM在单次目标模型传递中验证多个草稿token,同时保持目标模型的输出行为不变,有望显著提升推理效率。该指南基于...
Read More在 QCon London 2026 上,SpiralDB 团队展示了 Vortex 如何将压缩列式数据从 S3 直接流式传输到 GPU 内存,全程仅需一次拷贝。相比传统方案先将数据落盘或依赖 CPU 解压,Vortex 的列式布局能够在传输前对数据进行裁...
Read MoreQwenLM团队在GitHub开源了Qwen-Drive-1.0项目,定位为面向自动驾驶的视觉语言基础模型。该项目采用分阶段训练策略,将感知、语言理解和规划目标融合到统一框架中,使模型既能获得专业驾驶能力,又能保留广泛的视觉理...
Read MoreGoogle在GitHub开源了Accelerator Agents工具包,面向Google Cloud TPU开发场景,利用Gemini模型帮助开发者将PyTorch工作负载迁移到JAX,并优化自定义内核。该工具包包含MaxCode和MaxKernel两个核心模块:MaxCode负...
Read More谷歌TPUv7 Ironwood的第三方推理结果首次在InferenceX官方预览中亮相。在与Nvidia B200/B300进行同口径FP8对比时,Ironwood每美元性能最高可领先50%,意味着单位成本下能够提供明显更强的推理吞吐。值得关注的是,Ir...
Read More随着AI代理越来越多地调用外部工具并消费返回结果,工具输出已成为提示注入的新攻击面。ARMO最新分析指出,隐藏在工具结果中的恶意指令之所以能绕过常规防护,核心原因是输入检查与动作检查分别发生在代理循环的不同...
Read MoreOpenAI被曝正在为2026年DevDay筹备“Managed Agents”(托管代理)产品线,整体思路与Anthropic现有企业级代理方案相似,重点面向企业和开发者。该产品预计将把OpenAI最新大模型与更强的计算机操作能力整合,使代理不...
Read More人工智能公司Anthropic在过去11个月内累计签署了总价值5170亿美元的算力容量租赁协议,对应总容量达到14.8GW。这些协议主要与谷歌和AWS达成,同时还包括与Akamai、Fluidstack等云服务商的合作,以及与Nscale签署的45...
Read More