研究人员开发了一种新框架，通过为新任务增加特殊适配器的方式来扩展模型，帮助视觉-语言模型在不遗忘之前知识的情况下进行持续学习。这一技术突破为深度学习模型的持续学习能力提供了新的解决方案，能够有效避免传...

谷歌发布了一款新的 MoE 模型，命名为 Gemini 1.5 Pro，它的性能可以与 Gemini 1.0 Ultra 媲美。同时，它支持上下文1百万令牌，并且相比较于 Gemini 1.0 Ultra，使用更少的计算资源，因为它更小巧。这个模型是本地多...

本文将提供一个使用Pytorch从零开始编写稀疏混合专家模型的教程，图文并茂地讲解了每一步骤并提供了代码。其中，对top-k路由的解释特别有见地。

谷歌的开关Transformer是最早成功的专家混合模型之一。现在，该模型的代码已经在HuggingFace平台上发布，供人们使用。

Cohere AI的研究部门For AI开发了用于混合专家模型的参数高效微调方法，称为MoE PEFT。该算法可显著提高模型的微调效率，同时保持准确性。最近，该团队公开了该算法的GitHub代码库，为社区提供更多研究资源和工具。C...

IBM近日发布了一系列混合专家模型（Mixture-of-Experts，MoE），并公开了它们的架构和部分代码。MoE模型是一种稀疏模型，意味着在不牺牲准确性的情况下，可以节省计算资源。然而，训练这种模型却颇具挑战性。这次IBM...

混合专家模型（MoEs）是一种增加模型容量的有效方法，同时不会增加每个令牌的运行时间。然而，让它们快速运行并进行微调仍然具有一定的难度。最新研究发现，如果你能有效地修改密集模型参数，以配合MoEs的微调，就能...

目前使用的语言模型有两大类：密集型和稀疏型。密集型模型就像传统的2017年的变压器模型，每个令牌都使用每个模型参数。稀疏型模型在此后不久就被引入，它使用一种路由机制（通常是学习到的），这意味着每个令牌只使...