谷歌最新一期Release Notes播客深度解析了I/O 2025大会的AI技术突破,重点介绍了三大核心创新:1) Gemini 2.5 Pro Deep Think作为下一代多模态AI系统,通过增强的递归神经网络架构实现复杂逻辑推理,其万亿级参数规...
Read MoreDeepSeek研究团队以DeepSeek-V3为案例,分享了大型语言模型(LLM)训练中的硬件-模型协同设计创新成果。该研究通过多头部潜在注意力机制(Multi-head Latent Attention)、专家混合系统(Mixture of Experts)、FP8...
Read MoreNous Research近期推出的Psyche网络是一个基于Solana区块链的分布式训练系统,该系统允许拥有兼容硬件的用户自愿贡献其GPU资源用于AI模型训练。该项目的首个计划"Consilience"旨在利用20万亿个token训练一个拥有400...
Read MoreGitHub开源项目TScale提出了一种创新性的分布式训练解决方案,允许开发者在消费级GPU集群上高效运行大规模模型训练。该项目通过优化通信协议和资源调度算法,显著降低了分布式训练的硬件门槛,使中小型研究团队也能...
Read MoreFed-SB研究团队在arXiv最新论文中提出了一种突破性的联邦学习框架LoRA-SB,该技术通过低秩自适应(Low-Rank Adaptation, LoRA)方法实现大型语言模型(LLM)的高效分布式微调。这一创新方案通过参数高效微调(PEFT)技术,...
Read More微软DeepSpeed团队在GitHub开源了DeepCompile项目,通过引入编译技术显著提升分布式训练性能。该项目针对训练过程中的瓶颈操作进行深度优化,采用改进版的torch compile实现算子融合与代码生成,实测可使关键操作获...
Read More人工智能研究机构Prime Intellect近日取得重大突破,成功通过完全分布式的方式训练了一个参数量高达320亿(32B)的神经网络模型,并创新性地结合强化学习技术提升模型的推理能力。值得关注的是,该团队已将其核心训...
Read MoreDeepMind近日发布了一篇详细介绍DiLoCo跨数据中心训练算法扩展定律的论文。DiLoCo是一种强大的训练算法,能够在全球范围内同步梯度,确保模型训练的稳定性。该算法通过在多个数据中心之间进行分布式训练,有效提升了...
Read More