大多数音频生成技术使用扩散或自回归模型来生成声音。而这项研究并不使用多步骤或复杂的Transformer。相反，它使用了一个掩码语言模型来生成音频令牌。

eTH（Electric Transformer House）是一款可扩展的豪华迷你住宅，拥有400平方英尺的居住空间、太阳能电池板等多项功能。该房车拥有豪华的内饰、智能科技以及清洁能源供离网能力使用。它配备了美食厨房、宽敞的客厅和...

谷歌的开关Transformer是最早成功的专家混合模型之一。现在，该模型的代码已经在HuggingFace平台上发布，供人们使用。

视觉Transformer (ViT)已经成为视觉领域的主要研究方向，然而在它们的嵌入中，仍然有时会出现网格状的伪影。这使得社区在将其应用于下游任务时持怀疑态度。本研究提出了一种更新位置嵌入的方法，消除了这一问题，并...

Transformer是自然语言处理中非常重要的模型，但对于初学者来说可能有些困难。然而，这篇文章提供了一个非常好的介绍，对于具有基本数学和Python技能的人来说非常易于理解。作者详细解释了Transformer的工作原理，并...

MUSE是一种使用Transformers的掩蔽图像生成模型。HuggingFace和Stability AI已经合作开源复现该模型，并发布了训练代码、模型检查点和论文。虽然这些模型的训练时间不如一些最好的图像扩散模型长，但它们显示出了很...

BERT是一种仅有编码器的Transformer。这意味着它通常用于以嵌入形式表示自然语言，而不是用于生成文本。重要的是，它是最早用于搜索的Transformer之一，因为它可以表示查询和要检索的信息。Mosaic团队集成了FlashAtt...

Mamba的创建者（以及许多其他模型）发布了一篇很专业的博客文章，概述了基本的序列混合架构，相对于标准Transformer，可以获得相当大的速度提升。该团队的新模型使用了这种混合方法，并且获得了非常好的性能。这种新...