标记提示集是一种聪明的方法，可以显着提高视觉+语言模型的性能。Roboflow的这个库为您提供类似的控制，并使使用这些模型构建强大的视觉管道变得更加容易。它甚至支持像LLaVa这样的开放模型。

LLaVa是一种从文本模型训练多模型的方法。现在它可以用于视频。基于Vicuna的结果模型非常强大，可以轻松实现视频摘要和字幕的最新表现。

AMBER是一个新的基准，旨在评估和降低多模式大型语言模型（MLLM）中的幻觉，而不依赖其他高级语言模型。该项目已经发布开源库，旨在帮助研究者和开发人员更好地理解和应对多模式语言模型的幻觉问题。

近日，研究人员开源了一个名为Dual-Guided Spatial-Channel-Temporal（DG-SCT）的新型注意力机制，可用于增强预先训练的音频-视频模型，以用于多模态任务。该机制具有两个分支，一个是空间通道分支，另一个是时间分...

微软研究院已在其较小的语言模型Phi 1.5上增强了多模态能力，使其能够像OpenAI更大的GPT-4模型一样解释图像，但计算成本更低。Phi 1.5模型结合了文本和视觉信息，可以推断出对应的文本或图像。该模型在多个数据集上...

近期，研究人员深入探究了多模态大型语言模型（MLLMs）中使用的视觉编码器，并发现CLIP和DINO模型中的某些特征特别适合于详细的视觉任务。他们随后引入了COMM，一种结合了两种模型优点的策略。COMM能够显著提高LLMs...

谷歌将用多模态AI模型Gemini取代PaLM 2，并将其引入Makersuite，提供图像和文本识别功能。该公司还拥有一个名为Stubbs的隐藏工具，使用户可以构建和启动AI生成的应用原型。Makersuite将很快完全支持语言翻译。

多模态语言模型（multimodal language models）的发展正日益成熟。最近，一种名为State of Mark prompting的方法在GitHub Repo上引起了广泛关注。该方法首先使用Segment Anything算法对图像进行处理，对检测到的类别...