PyTorch官方博客正式发布TorchNeuron，这是一个面向AWS Trainium芯片的开源原生PyTorch后端。该项目允许开发者继续使用已有的模型代码、库和工具，即可将训练负载迁移至Trainium，减少针对专用AI芯片的适配成本。Tor...

vLLM 作为高性能大语言模型推理引擎，正通过引入硬件无关层来进一步扩展其硬件兼容性。该设计使模型能够在多种硬件平台上高效运行，同时维持较高的推理性能。官方数据显示，这些硬件无关层在 NVIDIA H100 GPU 上最高...

ZeroModels 是一个完全基于 Keras 3 构建的预训练模型集合，覆盖图像分类、目标检测、分割、单目深度估计、特征提取、视觉语言模型和语音识别等任务。该项目最大的亮点在于同一套代码可原生运行在 JAX、PyTorch 和 T...

Google在GitHub开源了Accelerator Agents工具包，面向Google Cloud TPU开发场景，利用Gemini模型帮助开发者将PyTorch工作负载迁移到JAX，并优化自定义内核。该工具包包含MaxCode和MaxKernel两个核心模块：MaxCode负...

谷歌TPUv7 Ironwood的第三方推理结果首次在InferenceX官方预览中亮相。在与Nvidia B200/B300进行同口径FP8对比时，Ironwood每美元性能最高可领先50%，意味着单位成本下能够提供明显更强的推理吞吐。值得关注的是，Ir...

英伟达NeMo团队近日在GitHub上开源了一个名为Molt的智能体强化学习框架。该框架采用PyTorch原生设计，核心理念是将智能体本身视为可执行的程序，而非传统强化学习中固定的策略网络。Molt支持高度灵活的自定义Python...

本文深入探讨了PyTorch在执行和优化神经网络层方面的最新进展，特别是从单个线性操作逐步过渡到融合多层感知机（MLP）的过程。文章详细剖析了如何通过算子融合技术，将多个连续的线性变换和激活函数合并为一个计算核...

PyTorch官方博客近日发布了一项名为AutoSP的创新技术，该技术旨在自动化地将标准Transformer训练代码转换为序列并行代码，用于长上下文大语言模型（LLM）的训练。AutoSP已与微软的DeepSpeed框架深度集成，使得开发者...