微软的最新模型现已在HuggingFace上提供研究用途。Phi-2是一种基于Transformers的语言生成模型，它被训练用于生成各种文本，包括问答、对话和自然语言生成。该模型采用的是自回归模式，即在生成下一个单词或字符时，...

近日，HuggingFace 发布了最新版本的 Transformers 4.36.0。此次更新新增了 Mistral 模型和 AMD 支持等多项功能。同时，safetensors 已成为默认设置。HuggingFace 的这次更新将为 AI 模型的开发和训练提供更加便利的...

近来，Transformer模型在AI领域占据统治地位。它们是强大的序列学习器，但也存在一些缺点。这项新工作基于状态空间模型，展示了新的架构可以带来巨大的好处，如增加上下文长度。

Mamba是一种非Transformer的模型，其性能惊人。它经过了SFT的聊天调优，并且似乎具有比同等大小的Transformer更好的开箱即用的检索能力。

该项目探索了视觉转换器在基于扩散的生成学习中的有效性，揭示了Diffusion Vision Transformers（DiffiT）。该模型将U形编码器-解码器架构与新型时变自注意模块相结合。DiffiT可以生成高分辨率的图像，具有非常好的...

该论文借鉴了LSTM的思想，并训练了一个拥有3B参数的模型，其性能优于更大的7B参数Transformer模型。这项工作有望在序列建模领域取得新的进展，尤其是在性能和可伸缩性方面。

近日，美国政府与英特尔公司合作启动了一个名为ScienceGPT的训练计划。该计划旨在训练一个万亿参数的GPT模型，以便提高自然语言处理的效率和精度。GPT（Generative Pre-trained Transformer）是一种基于Transformer...

AI 小镇是一个令人惊叹的实验，在这里，数百个代理在语言模型的提示状态下过着日常生活。 RWKV 模型是一种线性语言模型，需要比标准 Transformer 更少的资源。此存储库使用这个更便宜的模型在您的本地计算机上运行 A...