微软近日详细公布了其前沿预训练模型MAI-Base-2的训练细节。该模型采用混合专家（MoE）架构，总参数规模达到2.8万亿，活跃参数为800亿。微软表示，在留出预训练评估中，MAI-Base-2超越了所有开源权重模型，展现出较...

一项针对大规模混合专家（MoE）模型长上下文训练内存瓶颈的研究提出四项调度技术，目标是同时约束所有内存峰值，而非仅降低平均占用。研究指出，长上下文或大batch下，任一组件的峰值分配超过设备内存就会失败，因此...

Z.ai正式确认，此前以ox-alpha名称匿名参与评测的模型，实际是GLM-5.3-Flash。该模型采用3200亿参数的混合专家（MoE）架构，每次推理仅激活180亿参数，在编码和智能体相关基准测试中表现接近Claude Opus 4.8。这一消...

英伟达推出了全新的Nemotron 3.5 Lightning模型和NeMo Switchyard开源库，旨在大幅降低AI代理的推理成本并提升效率。Nemotron 3.5 Lightning是一个拥有300亿参数的混合专家模型（MoE），专为高吞吐量的专用代理任务...

人工智能公司Thinking Machines正式推出开源权重模型Inkling-Small，以更小的体量实现了与Inkling相当的性能。该模型采用混合专家架构，总参数量达276B，但每次推理仅激活12B参数，大幅降低算力需求。Inkling-Small...

苹果生态中内存长期被认为是大模型本地推理的瓶颈，而TurboFieldfare项目提供了一个极具突破意义的解决方案。这个专门为Apple Silicon Mac设计的自定义运行时，让庞大的Gemma 4 26B-A4B模型（完整加载需约14.3 GB内...

EschaLabs 近日发布了 Escha-W2，这是对 Qwen3.6-35B-A3B 混合专家（MoE）模型进行 2 比特量化后的构建版本。Qwen3.6-35B-A3B 本身是一个包含 256 个专家的庞大架构，总参数量达到 35B，但在每次推理中仅激活 3B 参...

近日，Kimi K3模型的开放权重发布揭示了其架构的诸多细节。该模型本质上是去年发布的Kimi Linear架构的规模化生产版本，整体设计明显向着更高的推理效率演进。K3现已原生支持多模态输入，进一步拓宽了应用边界。本次...