[论文推荐] 基于硬负样本加权的对比学习构建大规模语言和视觉嵌入模型
talkingdev • 2025-03-12
75430 views
近年来，随着多模态学习的发展，构建能够同时处理视觉和语言任务的嵌入模型成为研究热点。然而，传统基于对比损失的方法在处理硬负样本时往往表现不佳，导致模型在复杂检索任务中效果受限。近期，一项研究提出了一种新的正则化策略，通过加权硬负样本的方式，显著提升了模型在复杂检索问题中的表现。该研究不仅验证了该方法在图像-文本匹配任务中的有效性，还展示了其在零样本视频检索任务中的可扩展性。这一成果为大模型在多模态学习领域的进一步应用提供了有力支持，并可能推动相关技术在视频理解、内容推荐等实际场景中的落地。