Gemini在各种视觉任务中比许多开放模型表现更好。它在相同任务中似乎与GPT-V竞争力十足。

一种名为OneLLM的新型AI模型正在掀起波澜，它使用一种独特的方法将所有这些模态与语言对齐，理解包括图像、音频甚至脑活动在内的八种不同类型的数据。OneLLM的这种多模态理解方法可能会推动AI在语义理解方面的进一步...

这个项目介绍了BenchLMM，一个专门设计用于测试GPT-4V和LLaVA等大型多模态模型对各种图像样式的鲁棒性的基准。

Google的旗舰机型Gemini是一款原生多模态模型，其文本能力达到了GPT4的水平，同时还能够处理许多其他数据序列。此外，它还训练了Alpha Code 2，这是一个在代码力量比赛中排名前15%的编码器。Alpha Code 2将在12月13...

标记提示集是一种聪明的方法，可以显着提高视觉+语言模型的性能。Roboflow的这个库为您提供类似的控制，并使使用这些模型构建强大的视觉管道变得更加容易。它甚至支持像LLaVa这样的开放模型。

LLaVa是一种从文本模型训练多模型的方法。现在它可以用于视频。基于Vicuna的结果模型非常强大，可以轻松实现视频摘要和字幕的最新表现。

AMBER是一个新的基准，旨在评估和降低多模式大型语言模型（MLLM）中的幻觉，而不依赖其他高级语言模型。该项目已经发布开源库，旨在帮助研究者和开发人员更好地理解和应对多模式语言模型的幻觉问题。

近日，研究人员开源了一个名为Dual-Guided Spatial-Channel-Temporal（DG-SCT）的新型注意力机制，可用于增强预先训练的音频-视频模型，以用于多模态任务。该机制具有两个分支，一个是空间通道分支，另一个是时间分...