Inception Labs正式发布Mercury 3，这是目前该公司能力最强的扩散语言模型。官方称其在多项基准测试中超越了GPT-6 Luna和Claude Haiku 5.5，同时每秒可生成超过1000个token，运行速度比对比模型快4到8倍。这标志着扩...

在大型语言模型推理优化领域，Prompt缓存技术正成为提升服务效率、降低计算成本的关键前沿技术。本文深入解析了Prompt缓存的核心工作原理，特别聚焦于vLLM框架中创新的Paged Attention机制及其实现的自动前缀缓存。...

英伟达近日宣布，将以约7亿美元的价格收购AI基础设施优化公司Run:ai，以增强其DGX云AI平台的性能，让客户能更好地管理他们的AI工作负载。此次收购将有助于支持跨多个数据中心位置的复杂AI部署。Run:ai此前曾获得风险...