Hugging Face 团队近日发布了一项名为“Delta Weight Sync”的创新技术，旨在解决大规模强化学习（RL）训练中的通信瓶颈问题。在训练拥有万亿参数量的模型时，传统的权重同步方式需要在训练器（Trainer）和推理引擎（I...

近日，一篇来自JAX-ML团队的《Scaling Book》引起了AI领域的广泛关注。该书深入探讨了语言模型扩展背后的科学原理，为从业者提供了一份从硬件到实践的全景式指南。内容不仅详细解析了TPU与GPU的工作原理及其相互通信...

人工智能公司Prime Intellect正式推出INTELLECT-3模型，这是一个基于强化学习训练、具备1060亿参数的混合专家开源模型。该模型采用创新的MoE架构，通过动态激活专家网络显著提升计算效率，在数学推理、代码生成、科...

谷歌开发者博客最新推出开源项目Tunix，这是一个基于JAX框架原生设计的专业化工具库，致力于简化大型语言模型从预训练到完全对齐、生产就绪的完整流程。该库为开发者提供了一套全面且友好的工具集，支持大规模模型对...

Osmosis-Apply-1.7B是基于Qwen3-1.7B模型通过强化学习微调而成的专用模型，在代码合并任务中表现出色，其奖励分数高达0.9893，甚至超越了OpenAI o3等更大规模的基础模型，同时显著降低了成本。该模型在CommitPackFT...

过去几年，AI行业一直遵循着类似摩尔定律的发展轨迹，即智能计算成本每年呈数量级下降，且每一代新模型不仅性能更强，运行成本也更低。然而，谷歌上周发布的Gemini 2.5 Flash模型打破了这一趋势——其输入token价格翻...

PyTorch工程师团队通过分布式检查点（DCP）中的模块化压缩技术，成功将检查点文件体积减少22%。这项突破性优化显著降低了分布式训练过程中的存储占用和带宽消耗。文章详细阐述了该技术的集成步骤和关键设计选择，包...

Epoch AI最新研究显示，人工智能领域正经历前所未有的计算规模扩张。2024年全球已追踪到201个计算量超过10²³ FLOPs的AI大模型，较2017年仅有的2个实现指数级增长。尤其值得注意的是，以GPT-4为代表的顶尖模型已突破1...