如何训练语言模型听取多模态信息

talkingdev • 2024-01-22

696016 views

本文探讨了当前主流的预训练语言模型加入多模态功能的范式。即，在编码器和文本模型之间对齐嵌入。该方法能够让语言模型更好地理解来自视觉和听觉等多个模态的信息，从而提高其自然语言处理的能力。近年来，语言模型在社交媒体、搜索引擎、智能客服、自动翻译等领域得到了广泛应用。