目前使用的语言模型有两大类：密集型和稀疏型。密集型模型就像传统的2017年的变压器模型，每个令牌都使用每个模型参数。稀疏型模型在此后不久就被引入，它使用一种路由机制（通常是学习到的），这意味着每个令牌只使...

SoftMoE 是一种新的模型架构，它改进了稀疏的混合专家（MoE）模型。通过使用软分配方法，每个专家处理输入令牌的子集，SoftMoE以更低的成本提供了更大的模型容量。在视觉识别任务中，SoftMoE的表现超过了标准的变压...

近日，一份粘贴文本公开了GPT-4的详细结构信息。GPT-4的规模比GPT-3大了10倍以上，预计总共拥有1.8万亿参数，跨越了120层。OpenAI使用了混合专家模型以保持成本合理。据估计，训练这个模型的费用约为6300万美元。更...