DeepSeek近日正式开源了一款名为DSpark的创新框架，旨在显著加速大型语言模型（LLM）的推理过程，据称最高能将解码速度提升85%。这一突破性进展直接针对当前AI大模型在实际应用中普遍存在的响应延迟痛点。与传统模型...

Morph LLM近期发布了一系列针对开源代码生成模型的优化技术，旨在解决当前推理效率瓶颈。首先，团队通过训练一个专注于模型自身编码输出（而非通用互联网数据）的“起草模型”（drafter），在投机解码中取得了显著加速...

Hugging Face 团队近日发布了一项名为“Delta Weight Sync”的创新技术，旨在解决大规模强化学习（RL）训练中的通信瓶颈问题。在训练拥有万亿参数量的模型时，传统的权重同步方式需要在训练器（Trainer）和推理引擎（I...

随着人工智能向智能体（Agent）方向演进，传统的大模型推理基准测试正面临根本性变革。智能体工作负载不再是简单的单轮问答，而是包含多轮交互、工具调用等复杂场景。这种变化给推理引擎带来了前所未有的压力，尤其...

近日，多家领先的AI推理服务提供商，包括Baseten、DeepInfra、Fireworks AI和Together AI，宣布通过在其服务中部署基于NVIDIA Blackwell架构的GPU并运行开源模型，成功将每次推理的令牌成本大幅降低了高达10倍。这一...

埃里克·张（Eric Jang）在其个人博客Evjang.com上发表了一篇关于人工智能前沿趋势的深度分析文章。文章以范内瓦·布什博士1945年的经典论述《诚如所思》为引，将现实世界比作一个开放式的多人在线游戏（MMO），并指出...

近日，一个名为TTT-Discover的开源项目在GitHub上发布，其核心创新在于将强化学习（Reinforcement Learning）技术应用于大型语言模型（LLMs）的推理（Inference）阶段，而非传统的训练阶段。这一“测试时训练”（Test-...

在AI驱动的编程浪潮中，一位开发者分享了其软件开发流程的革命性变化。借助GPT-5/5.2 Codex等先进模型，他已能够以“推理速度”交付代码，这意味着开发速度的主要瓶颈已从人类编码能力转变为AI模型的处理时间。尽管GPT...