微软近日详细公布了其前沿预训练模型MAI-Base-2的训练细节。该模型采用混合专家（MoE）架构，总参数规模达到2.8万亿，活跃参数为800亿。微软表示，在留出预训练评估中，MAI-Base-2超越了所有开源权重模型，展现出较...

据SiliconANGLE报道，初创公司PicoJool宣布完成2750万美元A轮融资，由Socratic Partners领投，并得到前英特尔首席执行官帕特·基辛格的支持。该公司专注于开发基于垂直腔面发射激光器（VCSEL）的AI数据中心互连技术，...

Soup 是一个以简化大语言模型微调与后训练流程为目标的开源项目。它将模型训练配置整合进一个 YAML 文件，并通过一条命令完成微调、评估、导出、推理服务部署等环节，同时提供 Web UI。项目支持常见训练方法，并可对...

据英国《金融时报》援引知情人士消息，北京近期允许字节跳动和腾讯在中国大陆的数据中心设施中分别接收约1万颗英伟达H200芯片。此举被视为在先进AI芯片对华出口持续受限的背景下，监管部门以小批量、定向放行的方式...

Hugging Face 团队近日发布了一项名为“Delta Weight Sync”的创新技术，旨在解决大规模强化学习（RL）训练中的通信瓶颈问题。在训练拥有万亿参数量的模型时，传统的权重同步方式需要在训练器（Trainer）和推理引擎（I...

近日，一篇来自JAX-ML团队的《Scaling Book》引起了AI领域的广泛关注。该书深入探讨了语言模型扩展背后的科学原理，为从业者提供了一份从硬件到实践的全景式指南。内容不仅详细解析了TPU与GPU的工作原理及其相互通信...

人工智能公司Prime Intellect正式推出INTELLECT-3模型，这是一个基于强化学习训练、具备1060亿参数的混合专家开源模型。该模型采用创新的MoE架构，通过动态激活专家网络显著提升计算效率，在数学推理、代码生成、科...

谷歌开发者博客最新推出开源项目Tunix，这是一个基于JAX框架原生设计的专业化工具库，致力于简化大型语言模型从预训练到完全对齐、生产就绪的完整流程。该库为开发者提供了一套全面且友好的工具集，支持大规模模型对...