LLaVA-MORE 是一项关于多模态大语言模型（Multimodal Large Language Models, MLLMs）的系统性研究，旨在评估不同语言模型和视觉骨干网络在 MLLMs 中的表现，并提供一个可复现的框架来比较这些架构。通过该研究，研...

近日，EmbodiedEval作为一种全面且交互式的基准测试工具正式亮相，旨在评估多模态大语言模型（MLLMs）在具身任务中的表现。具身任务是指模型需要在物理环境中执行具体操作的任务，这对模型的感知、推理和执行能力提...

研究人员提出了一种名为“多模态专家混合体” (MoME) 的方法，以解决通用的多模态大型语言模型(MLLMs)中的任务干扰问题。在多模态大型语言模型中，任务干扰是一个常见的问题，它可能会影响模型的性能和效率。MoME的提...

E5-V是一种新的框架，其改编了多模态大型语言模型（MLLMs）以创建全球多模态嵌入。通过使用提示，它弥补了不同输入类型之间的差距，而无需进行微调就实现了在多模态任务中的令人印象深刻的性能。这一全球多模态嵌入...

一项新研究揭示了多模态大型语言模型（MLLMs）如GPT-4V的一个弱点：它们难以处理特定类型的图像-文本输入，从而导致错误。CorrelationQA是一个基准测试，旨在评估MLLM在图像可能会误导或与文本相矛盾的情况下的表现...

近期，研究人员深入探究了多模态大型语言模型（MLLMs）中使用的视觉编码器，并发现CLIP和DINO模型中的某些特征特别适合于详细的视觉任务。他们随后引入了COMM，一种结合了两种模型优点的策略。COMM能够显著提高LLMs...