该论文借鉴了LSTM的思想，并训练了一个拥有3B参数的模型，其性能优于更大的7B参数Transformer模型。这项工作有望在序列建模领域取得新的进展，尤其是在性能和可伸缩性方面。

最新的研究成果Transformer-VQ，是一种全新设计的Transformer，由于其独特的基于向量的键和缓存功能，使得处理注意力的速度得到了显著的提升。这种新型的Transformer设计，不仅提高了处理速度，同时也保持了数据的准...