漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品

微软近日详细公布了其前沿预训练模型MAI-Base-2的训练细节。该模型采用混合专家(MoE)架构,总参数规模达到2.8万亿,活跃参数为800亿。微软表示,在留出预训练评估中,MAI-Base-2超越了所有开源权重模型,展现出较强的预训练性能。此次深度披露涵盖数据策略、计算效率优化以及全栈基础设施构建等方面,反映出微软在大规模模型训练工程上的系统化能力。更重要的是,微软计划通过Foundry平台将内部训练的前沿模型转化为企业级产品,这意味着其自研模型能力将直接面向企业客户输出,进一步强化微软在云AI服务和前沿模型商业化上的竞争力。这一动作可能对开源模型生态和企业级AI市场格局产生重要影响。

核心要点

  • 微软公布MAI-Base-2预训练细节,总参数2.8万亿、活跃参数800亿,采用MoE架构。
  • 在留出预训练评估中,该模型据称超越所有开源权重模型,展示数据和基础设施优势。
  • 微软计划通过Foundry将内部前沿模型转为企业级产品,推动自研模型商业化。

Read more >