多模态大型语言模型在许多任务中表现优秀，但在定位图像中的特定对象方面往往存在困难。为了改善这一问题，研究人员已经开发出一种新的方法：将物体的位置转化为文本，并通过特殊任务进行模型的训练。这种方法的出现...

Reka近日推出一款名为Yasa-1的多模态模型，该模型能处理音频、视频和文本，是极其受欢迎的T5语言模型的创造者带来的最新力作。Yasa-1在许多任务中都展示了优秀的表现，目前正处于私人预览阶段。Yasa-1继承了T5的精神...

模型通常针对特定任务（例如，语言生成和图像生成）进行单独训练。然而，最近提出的一种名为联合自回归混合（JAM）的算法，通过巧妙地交叉注意力和温和的微调，成功地将不同的模型结合在一起。这种新颖的方法在多种...

这项研究介绍了AV-SUPERB，这是一个新的基准测试，用于测试训练模型在各种任务中对声音和视觉数据的理解程度。AV-SUPERB的目标是推动音频和视觉共同理解的发展，并为未来的研究提供一个统一的平台。这项研究突出了模...

原名为Adept的柿子科技公司，近期推出了其极其高效的8b参数模型——柿子-8B。同时，该公司也发布了推理代码。此次发布的模型和代码中包含了许多亮点，其中最引人注目的是具备70k未使用的嵌入功能，这为多模态扩展提供...

本研究公开了一个新的模型-DFER-CLIP，该模型对CLIP模型进行了改进，专门用于识别现实世界中变化的面部表情。CLIP模型是一个多模态的人工智能模型，它能够理解图像和文本之间的关系。这个新的DFER-CLIP模型，通过增...

近期的模型常常在处理复杂的视觉-语言任务上遇到困难，这主要是由于它们在理解混合的图像-文本上下文时存在限制。为了评估这些任务，研究人员引入了I4基准。结果显示，视觉提示生成器的注意力存在缺陷。为了解决这个...

该项目引入了一种搜索图像的方法，该图像看起来像给定的图片，但是在标题中描述了变化。它使用了增加了特殊技巧的CLIP模型。该方法在FashionIQ和CIRR等流行的图像搜索数据集上表现更好。CLIP模型是一个多模态视觉模...