首个RNN在Transformers库中发布

近日，基于线性注意力模型与内置循环的RWKV模型成为Transformers库中首个推出的RNN模型。该模型是一个强大的语言模型，理论上可运行较长的上下文窗口，并具有快速的运行速度。目前，该模型在HuggingFace平台上的开发团队也有着活跃的discord社区。 以下是该模型的三个核心特点： - RWKV模型是Transformers库中首个推出的RNN模型； - 该模型具有内置循环和线性注意力模型的特点； - 模型的运行速度快，理论上可处理较长的上下文窗口。