微软披露2.8万亿参数MoE模型MAI-Base-2：预训练评估称超越所有开源权重模型

微软近日详细公布了其前沿预训练模型MAI-Base-2的训练细节。该模型采用混合专家（MoE）架构，总参数规模达到2.8万亿，活跃参数为800亿。微软表示，在留出预训练评估中，MAI-Base-2超越了所有开源权重模型，展现出较...

Read More