视觉Transformer (ViT)已经成为视觉领域的主要研究方向，然而在它们的嵌入中，仍然有时会出现网格状的伪影。这使得社区在将其应用于下游任务时持怀疑态度。本研究提出了一种更新位置嵌入的方法，消除了这一问题，并...

Gemini在各种视觉任务中比许多开放模型表现更好。它在相同任务中似乎与GPT-V竞争力十足。

视觉上下文提示（Visual In-Context Prompting）是一种创新的方法，能适应各种提示和上下文，极大地提高了分割任务的性能，并在开放式挑战中展示了令人印象深刻的结果。该方法为深度学习模型提供了更多的信息，从而...

研究人员发现，尽管大型语言模型是为文本设计的，但它们可以成为处理视觉任务的强大工具。使用文本训练的模型的部分来直接处理图像和视频，研究人员在各种视觉任务中取得了改进的结果。该研究结果表明，基于文本的AI...

近期，研究人员深入探究了多模态大型语言模型（MLLMs）中使用的视觉编码器，并发现CLIP和DINO模型中的某些特征特别适合于详细的视觉任务。他们随后引入了COMM，一种结合了两种模型优点的策略。COMM能够显著提高LLMs...

嵌入是一种机器可读的数字列表，用于表示有关数据的某些信息。它们越来越多地通过将数据通过神经网络并查看模型的激活来获得。本文在计算机视觉任务中使用CLIP推进了这一想法，并探讨了如何使用降维来推理学习到的嵌...

近期的一项研究介绍了一种名为MAGVIT-v2的视频标记化工具，有效地将图像和视频输入转化为大型语言模型（LLM）的标记。使用MAGVIT-v2，LLM在视觉生成任务中的表现超过了扩散模型。视频标记化是一种将视觉内容（如图像...

TIMM中有许多顶级计算机视觉模型，但在处理生产系统时，通常需要更多。OpenMMlab提供了一套高质量的系统，用于各种视觉任务，如姿态和分割。