本文将提供一个使用Pytorch从零开始编写稀疏混合专家模型的教程，图文并茂地讲解了每一步骤并提供了代码。其中，对top-k路由的解释特别有见地。

谷歌的开关Transformer是最早成功的专家混合模型之一。现在，该模型的代码已经在HuggingFace平台上发布，供人们使用。

Cohere AI的研究部门For AI开发了用于混合专家模型的参数高效微调方法，称为MoE PEFT。该算法可显著提高模型的微调效率，同时保持准确性。最近，该团队公开了该算法的GitHub代码库，为社区提供更多研究资源和工具。C...

IBM近日发布了一系列混合专家模型（Mixture-of-Experts，MoE），并公开了它们的架构和部分代码。MoE模型是一种稀疏模型，意味着在不牺牲准确性的情况下，可以节省计算资源。然而，训练这种模型却颇具挑战性。这次IBM...

混合专家模型（MoEs）是一种增加模型容量的有效方法，同时不会增加每个令牌的运行时间。然而，让它们快速运行并进行微调仍然具有一定的难度。最新研究发现，如果你能有效地修改密集模型参数，以配合MoEs的微调，就能...

目前使用的语言模型有两大类：密集型和稀疏型。密集型模型就像传统的2017年的变压器模型，每个令牌都使用每个模型参数。稀疏型模型在此后不久就被引入，它使用一种路由机制（通常是学习到的），这意味着每个令牌只使...

SoftMoE 是一种新的模型架构，它改进了稀疏的混合专家（MoE）模型。通过使用软分配方法，每个专家处理输入令牌的子集，SoftMoE以更低的成本提供了更大的模型容量。在视觉识别任务中，SoftMoE的表现超过了标准的变压...

近日，谷歌通过基因搜索算法和海量TPU的使用，开发出了一种新的模型——Brainformer，其收敛速度比传统的Transformer模型快5倍，推理速度快2倍。这种模型使用了MoE模块和一些其他巧妙的技巧，充分发挥了TPU的强大性能...