Transformer模型虽然强大,但是由于其不稳定性,训练起来常常会很困难。其中一个主要的问题是注意力矩阵的熵崩溃。本文介绍了一种通过简单的重新参数化来防止熵崩溃的方法。
Read MoreSwitchHead是使AI模型更高效的突破。它减少了Transformer的内存和计算需求,同时不会降低性能。SwitchHead是一种新颖的神经网络结构,可以在不丢失性能的情况下,将一个大型Transformer模型拆分为多个小型Transforme...
Read More微软的最新模型现已在HuggingFace上提供研究用途。Phi-2是一种基于Transformers的语言生成模型,它被训练用于生成各种文本,包括问答、对话和自然语言生成。该模型采用的是自回归模式,即在生成下一个单词或字符时,...
Read More近日,HuggingFace 发布了最新版本的 Transformers 4.36.0。此次更新新增了 Mistral 模型和 AMD 支持等多项功能。同时,safetensors 已成为默认设置。HuggingFace 的这次更新将为 AI 模型的开发和训练提供更加便利的...
Read More近来,Transformer模型在AI领域占据统治地位。它们是强大的序列学习器,但也存在一些缺点。这项新工作基于状态空间模型,展示了新的架构可以带来巨大的好处,如增加上下文长度。
Read MoreMamba是一种非Transformer的模型,其性能惊人。它经过了SFT的聊天调优,并且似乎具有比同等大小的Transformer更好的开箱即用的检索能力。
Read More该项目探索了视觉转换器在基于扩散的生成学习中的有效性,揭示了Diffusion Vision Transformers(DiffiT)。该模型将U形编码器-解码器架构与新型时变自注意模块相结合。DiffiT可以生成高分辨率的图像,具有非常好的...
Read More该论文借鉴了LSTM的思想,并训练了一个拥有3B参数的模型,其性能优于更大的7B参数Transformer模型。这项工作有望在序列建模领域取得新的进展,尤其是在性能和可伸缩性方面。
Read More