Together Compute一直在探索不同的Transformer替代方案。最近，他们发布了一款检索模型，该模型的表现优于许多闭源嵌入式模型，适用于检索任务。该模型命名为Monarch Mixer 32k。它是一个基于深度神经网络的模型，可...

研究人员开发了一种名为CAINet的新方法来改进RGB-T语义分割技术，这对于无人驾驶至关重要。该系统独特地结合了不同类型的数据，注重它们的互补性和全局上下文。CAINet使用了一个基于注意力机制的自适应特征融合模块...

MossFormer2模型是MossFormer的改进版，该模型在单声道语音分离方面具有更好的性能。在MossFormer2中，通过引入一个基于复数的非线性激活函数和一个基于深度可分离卷积的上下采样结构，从而提高了模型的分离能力。此...

现代大多数扩散模型都使用了注意力机制，但并非所有模型都如此。最近，对状态空间的兴趣浪潮已经传到了扩散模型中，这为理论加速和有趣的应用开辟了道路。扩散模型是一种机器学习模型，用于对自然界中的信号进行建模...

近日，研究人员开源了一个名为Dual-Guided Spatial-Channel-Temporal（DG-SCT）的新型注意力机制，可用于增强预先训练的音频-视频模型，以用于多模态任务。该机制具有两个分支，一个是空间通道分支，另一个是时间分...

语言模型的性能往往受到其上下文长度的限制。一般来说，上下文长度的限制主要源于计算硬件和聪明的算法更新。StreamingLLM（Github Repo）提供了一种算法更新，通过将令牌流式传输至注意力机制，理论上可以支持无限...

我们当前的时代正处于一个全新的人工智能阶段，这个阶段的特点是LLMs、变压器和扩散模型的广泛应用。这与以往的人工智能发展阶段有着明显的区别。LLMs是一种复杂的深度学习模型，可以处理大量的数据并预测结果。变压...

（Transformers）在其激活过程中常常出现数字异常，这一现象被追溯为注意力机制的问题。这篇博文提出了一个修复方案。注意力机制是变形金刚的核心组成部分，对于其性能起着决定性作用。然而，数字异常的出现可能会影...