论文：共享网络预训练提升视频文本学习效果
talkingdev • 2024-02-05
653189 views
近日，研究人员提出了一种名为共享网络预训练（SNP）的方法，用于提高视频和文本的联合学习效果。相较于以往的模型，这种方法更加高效和多功能，并且包含了一种独特的策略，称为显著语义强化（S3），以更好地理解句子中的关键词。这种方法使用了一个通用的视觉编码器，同时处理图像和文本，以使两种信息之间的交互更加紧密。在进行预训练时，该模型在视频和文本之间共享编码器，以便网络可以学习如何将两种模态的信息结合起来。与以往的方法相比，SNP方法提高了学习效果，使得视频和文本之间的关联更加紧密。