Inception Labs正式发布Mercury 3，这是目前该公司能力最强的扩散语言模型。官方称其在多项基准测试中超越了GPT-6 Luna和Claude Haiku 5.5，同时每秒可生成超过1000个token，运行速度比对比模型快4到8倍。这标志着扩...

英特尔正式公布面向数据中心的全新GPU D系列，最大亮点是配备高达480GB的LPDDR5X内存，创下GPU内存容量新纪录。TechRadar指出，这一容量甚至超过不少笔记本电脑SSD的存储空间，主要目标是满足大模型推理等对显存极度...

Modal官方博客介绍了Query-Aware Inference Layer（Quail）推理引擎，该引擎通过将查询规划器与推理引擎相结合，并采用KV最优左深连接优化AI-SQL查询性能，在单块H100 GPU上实现了每分钟超过10亿token的处理速度。与...

Fireworks Research 正式推出新型专用模型 Ember-1，该模型构建于 Kimi K3 之上，在保持 Kimi K3 输出质量的同时，将 token 消耗量降低了 40%。Ember-1 目前已作为 Research Preview 版本在 Serverless 平台上推出，...

vLLM 作为高性能大语言模型推理引擎，正通过引入硬件无关层来进一步扩展其硬件兼容性。该设计使模型能够在多种硬件平台上高效运行，同时维持较高的推理性能。官方数据显示，这些硬件无关层在 NVIDIA H100 GPU 上最高...

近日，Z.ai 披露了一项引人注目的技术实践：团队利用由 GLM-5.3 驱动的 Infra Agent，在不到两周时间内为 GLM-5.3-Flash 构建了可支撑 10 万张以上国产加速器的生产级推理服务栈。这并非传统的人工运维或脚本化部署...

链式思维（Chain-of-Thought, CoT）是当前监督和解读大模型推理过程的重要工具，但一些新型架构变化可能显著降低CoT的可监控性。针对这一问题，Redwood Research提出“不透明串行深度”的可操作化概念，将“文本瓶颈之...

Cohere近日公布了专为North Mini Code模型打造的超内核（Megakernel）推理服务引擎，将一次完整的解码过程合并进一个常驻GPU内核，而不是像传统方案那样为每个操作启动独立内核。这种设计能够显著减少内核启动开销和...