据The Information援引知情人士消息，成立仅一年的AI芯片初创公司DensityAI正在进行高级谈判，计划以约100亿美元估值融资数亿美元。该公司由特斯拉Dojo超级计算机项目的多名前核心成员创办。Dojo是特斯拉为自动驾驶...

vLLM 作为高性能大语言模型推理引擎，正通过引入硬件无关层来进一步扩展其硬件兼容性。该设计使模型能够在多种硬件平台上高效运行，同时维持较高的推理性能。官方数据显示，这些硬件无关层在 NVIDIA H100 GPU 上最高...

Gortex 是一款面向 AI 编码代理和 IDE 的高性能代码智能引擎，其核心做法是把代码库索引为本地图结构，再按需提供跨仓库搜索、定义引用、调用链和影响分析等高度相关的上下文。与朴素地读取整段文件相比，官方称这种...

据TechCrunch报道，AI实验室PrismML近日发布Bonsai 2 27B模型，成功将阿里巴巴的Qwen3.8 27B压缩至仅5.9GB，体积小到足以在智能手机上运行，同时仍保留原模型98.2%的基准测试得分。这一进展在端侧AI部署上具有重要意...

Cohere近日公布了专为North Mini Code模型打造的超内核（Megakernel）推理服务引擎，将一次完整的解码过程合并进一个常驻GPU内核，而不是像传统方案那样为每个操作启动独立内核。这种设计能够显著减少内核启动开销和...

vLLM团队发布了一份关于在AMD GPU上使用推测解码（Speculative Decoding）的实用指南。推测解码允许vLLM在单次目标模型传递中验证多个草稿token，同时保持目标模型的输出行为不变，有望显著提升推理效率。该指南基于...

据《华尔街日报》记者Robbie Whelan报道，知情人士透露，美国谈判代表在去年亚美尼亚与阿塞拜疆的和平斡旋中，曾将“允许亚美尼亚数据中心采购英伟达先进AI芯片”作为激励条件，以推动双方达成初步协议，结束长达数十...

WebLLM 是 MLC AI 推出的高性能浏览器端大语言模型推理引擎，它借助 WebGPU 将开源模型的加载与推理全过程放在用户浏览器内完成，不需要后端服务器。该项目提供兼容 OpenAI 的 API，可支持流式输出、JSON 模式等聊天...