近日,DeepSeek V4.1 Flash的大规模推理部署细节引发行业关注。其底层推理框架DeepInfer融合了分布式推理、智能缓存、负载均衡与推测解码等关键技术,旨在显著降低推理延迟并提升硬件利用率。相关数据显示,DeepSeek...
Read Morellm-d 是一个面向分布式大语言模型推理的 Kubernetes 原生技术栈,致力于将 vLLM、SGLang 等单节点推理引擎转化为可运行在本地硬件集群上的生产级服务。该项目的核心价值在于为常见的生产部署模式提供经过测试的配方...
Read More近日,GitHub上的开源项目Mac.apk引发关注。该项目尝试在Apple Silicon Mac上直接实现Android应用运行环境,使安卓应用不再依赖传统模拟器,而是作为macOS原生进程启动,拥有独立窗口并支持GPU渲染。从技术上看,这...
Read More据TechCrunch报道,AI公司Anthropic与算力服务商Nscale可能即将宣布又一项规模达450亿美元的计算基础设施交易。值得关注的是,双方一个多月前刚刚宣布过同等体量的算力协议。若新交易落地,将进一步强化Anthropic在...
Read MoreMeta近日对外详细披露了其吉瓦级AI超级集群Prometheus的工程设计与基础设施规划。该集群为最新发布的Muse基础模型家族提供核心算力支撑,展现了Meta在超大规模AI训练系统上的布局。Prometheus第一阶段已实现吉瓦级供...
Read More英特尔正式公布面向数据中心的全新GPU D系列,最大亮点是配备高达480GB的LPDDR5X内存,创下GPU内存容量新纪录。TechRadar指出,这一容量甚至超过不少笔记本电脑SSD的存储空间,主要目标是满足大模型推理等对显存极度...
Read MoreNVIDIA 宣布将完整的 NVIDIA Run:ai 平台作为开源软件开放,这是其 DSX AI Factory 平台在 AI 工作负载编排与 GPU 资源调度领域的重要一步。此次开源并非只发布单一调度器,而是涵盖 KAI Scheduler、GPU Fractioning...
Read More微软正式发布第三代自研AI加速器Maia 300,这是其减少对英伟达GPU依赖的关键举措之一。官方称该芯片每兆瓦性能提升40%,意味着在同等电力条件下可提供更强的AI算力,有助于降低大规模训练与推理的能耗成本。微软计划...
Read More