近日，SGLang宣布成功集成Transformers后端技术，这一重大进展使开发者能够将Hugging Face的模型API与SGLang的高吞吐量、低延迟引擎相结合。该集成不仅显著提升了模型推理效率，还为自然语言处理（NLP）领域的实时应...

GitHub最新开源项目CoRT（Code Interpreter Reasoning）提出了一种创新的方法，通过提示工程（hint engineering）对大语言模型进行后训练（post-train），使其能够将复杂计算任务智能分配给外部代码解释器执行。这一...

近日，一篇关于构建基于大语言模型（LLM）的智能体系统的实践框架引发业内关注。该框架提出以评估为核心的开发方法论（Evaluation-centric Development），为AI智能体的研发提供了系统性指导。文章深入探讨了如何通...

Klavis AI近日发布了一项突破性的生产级MCP（模型计算平台）集成解决方案，该方案通过GitHub开源仓库向开发者开放。这一技术显著降低了AI应用与MCP服务器的整合门槛，提供稳定连接、内置身份验证机制及多客户端支持...

NVIDIA在GitHub开源项目TensorRT-LLM中发布了名为Auto Deploy的创新工具，该技术实现了将PyTorch和Hugging Face模型转化为高效可部署格式的重大突破。通过TensorRT-LLM的优化编译器，模型推理速度可提升数倍，特别适...