微软披露2.8万亿参数MoE模型MAI-Base-2:预训练评估称超越所有开源权重模型
talkingdev • 2026-10-16
1955 views
微软近日详细公布了其前沿预训练模型MAI-Base-2的训练细节。该模型采用混合专家(MoE)架构,总参数规模达到2.8万亿,活跃参数为800亿。微软表示,在留出预训练评估中,MAI-Base-2超越了所有开源权重模型,展现出较强的预训练性能。此次深度披露涵盖数据策略、计算效率优化以及全栈基础设施构建等方面,反映出微软在大规模模型训练工程上的系统化能力。更重要的是,微软计划通过Foundry平台将内部训练的前沿模型转化为企业级产品,这意味着其自研模型能力将直接面向企业客户输出,进一步强化微软在云AI服务和前沿模型商业化上的竞争力。这一动作可能对开源模型生态和企业级AI市场格局产生重要影响。
核心要点
- 微软公布MAI-Base-2预训练细节,总参数2.8万亿、活跃参数800亿,采用MoE架构。
- 在留出预训练评估中,该模型据称超越所有开源权重模型,展示数据和基础设施优势。
- 微软计划通过Foundry将内部前沿模型转为企业级产品,推动自研模型商业化。