谷歌研究院与加州大学团队在arXiv最新发表的论文提出3D CoCa框架，这一突破性技术通过整合视觉语言对比学习（Contrastive Learning）与场景描述（Captioning）两大前沿方向，实现了对三维场景的多模态联合理解。该框...

VARGPT是一种多模态大语言模型（MLLM），其独特之处在于将视觉理解与生成功能统一在一个自回归框架内。这一创新设计使得VARGPT能够同时处理文本和图像数据，实现更高效的跨模态信息处理。通过自回归机制，VARGPT不仅...

近日，Hugging Face Hub发布了一款名为Magma的新型基础模型，专为视觉agent任务设计，尤其在视频理解和UI导航方面表现出色。Magma模型以其易于调优的特性，为开发者提供了强大的工具，以应对复杂的多模态AI任务。该...

近期，Qwen公司宣布推出了其最新研发的视觉推理模型QvQ，这款模型在视觉理解和推理方面取得了重大突破。QvQ利用深度学习技术，通过分析图像内容，对图像中的对象、场景和动作进行精准识别与推理。QvQ模型的推理能力...

视觉启用的语言模型（VLMs）如GPT-4o和Gemini，能够赋予自主代理人完成诸如进行购物或编辑代码等任务的能力。然而，这项工作也突出了这些代理人易受到恶意攻击的脆弱性。在现实世界中，我们必须对这些具有视觉理解能...

研究人员已经开发出“Morph-Tokens”来提高AI的视觉理解和图像生成能力。这些令牌将用于理解的抽象概念转换为用于图像创建的详细视觉，利用MLLM框架的先进处理能力。Morph-Tokens的开发，不仅能够提高AI的图像理解和生...

Vibe-Eval是一个新推出的基准测试，专为测试多模态聊天模型而设计。它包含了269项视觉理解提示，其中包括100项特别具有挑战性的提示。这些视觉理解提示的设计，力求能够全面、深入地评估和测试多模态聊天模型的性能...

Spider是一个新型的统一模型，旨在增强对上下文依赖（CD）概念的理解，如伪装物体和医疗病变等。这些概念在很大程度上依赖于视觉背景。这个模型的独特性在于，它能够理解并应对由视觉环境变化引起的复杂情况。蜘蛛模...