将训练模型中的数据打包是提高训练效率的一种方式，它通过连接示例来实现。如果操作不当，示例之间可能会出现污染，因为注意力机制不知道何时停止。社区发现，使用EOS通常足以解决问题，但仍然可能存在问题。这个仓...

近日，Segment Anything Model (SAM)团队发布了一个新的模型——Hi-SAM。与SAM不同的是，Hi-SAM专注于实现多层次文本分割，它可以将文本从笔画到段落分割，甚至可以执行布局分析。此次发布的Hi-SAM模型采用了一系列新...

RWKV是主流Transformer模型的一种架构替代方案。它使用一种新颖的线性注意力机制，使其极其高效。这个新的检查点和配置是在1T令牌上训练的，超越了许多其他功能强大的基于7B Transformer的模型。

Together Compute一直在探索不同的Transformer替代方案。最近，他们发布了一款检索模型，该模型的表现优于许多闭源嵌入式模型，适用于检索任务。该模型命名为Monarch Mixer 32k。它是一个基于深度神经网络的模型，可...

研究人员开发了一种名为CAINet的新方法来改进RGB-T语义分割技术，这对于无人驾驶至关重要。该系统独特地结合了不同类型的数据，注重它们的互补性和全局上下文。CAINet使用了一个基于注意力机制的自适应特征融合模块...

MossFormer2模型是MossFormer的改进版，该模型在单声道语音分离方面具有更好的性能。在MossFormer2中，通过引入一个基于复数的非线性激活函数和一个基于深度可分离卷积的上下采样结构，从而提高了模型的分离能力。此...

现代大多数扩散模型都使用了注意力机制，但并非所有模型都如此。最近，对状态空间的兴趣浪潮已经传到了扩散模型中，这为理论加速和有趣的应用开辟了道路。扩散模型是一种机器学习模型，用于对自然界中的信号进行建模...

近日，研究人员开源了一个名为Dual-Guided Spatial-Channel-Temporal（DG-SCT）的新型注意力机制，可用于增强预先训练的音频-视频模型，以用于多模态任务。该机制具有两个分支，一个是空间通道分支，另一个是时间分...