近日,DeepSeek V4.1 Flash的大规模推理部署细节引发行业关注。其底层推理框架DeepInfer融合了分布式推理、智能缓存、负载均衡与推测解码等关键技术,旨在显著降低推理延迟并提升硬件利用率。相关数据显示,DeepSeek...
Read Morellm-d 是一个面向分布式大语言模型推理的 Kubernetes 原生技术栈,致力于将 vLLM、SGLang 等单节点推理引擎转化为可运行在本地硬件集群上的生产级服务。该项目的核心价值在于为常见的生产部署模式提供经过测试的配方...
Read More路透社援引消息人士称,OpenAI 正加快融资步伐,力求在竞争对手 Anthropic 预计于 11 月中旬上市前锁定投资者承诺。此轮融资目标约 300 亿美元,若完成,公司估值可能突破 1.4 万亿美元。这一动作凸显 AI 头部公司对...
Read MoreCloudflare 在上周推出 Clef 与 Clef-flash 两款开放权重决策模型后,再次发布 Clef-omni,将输入模态从文本、图像扩展到音频和视频,进一步强化其在多模态决策与智能体工作流中的布局。开放权重模式意味着开发者可...
Read More据英国《金融时报》援引知情人士消息,亚马逊正与投资者洽谈一项算力资产融资安排:将价值约80亿美元的英伟达Grace Blackwell芯片资产分拆注入一个特殊目的载体(SPV),再通过回租方式继续用于其美国数据中心。这一...
Read MoreModal官方博客介绍了Query-Aware Inference Layer(Quail)推理引擎,该引擎通过将查询规划器与推理引擎相结合,并采用KV最优左深连接优化AI-SQL查询性能,在单块H100 GPU上实现了每分钟超过10亿token的处理速度。与...
Read More近日,Z.ai 披露了一项引人注目的技术实践:团队利用由 GLM-5.3 驱动的 Infra Agent,在不到两周时间内为 GLM-5.3-Flash 构建了可支撑 10 万张以上国产加速器的生产级推理服务栈。这并非传统的人工运维或脚本化部署...
Read More据路透社援引知情人士消息,Anthropic正与英伟达进行谈判,希望后者成为其首次公开募股(IPO)的锚定投资者。若谈判顺利,这笔交易有望成为史上最大规模IPO,融资目标最高达1000亿美元,对应整体估值约为2万亿美元,...
Read More