SpeechAgents是一个多模态人工智能系统，能够以惊人的真实度模拟人类的交流。这个系统由多模态LLM支持，可以处理多达25个代理人。它可以通过模仿人类对话，包括连贯的内容、真实的节奏和表达丰富的情感，来创造戏剧...

近期，研究人员深入探究了多模态大型语言模型（MLLMs）中使用的视觉编码器，并发现CLIP和DINO模型中的某些特征特别适合于详细的视觉任务。他们随后引入了COMM，一种结合了两种模型优点的策略。COMM能够显著提高LLMs...

MM-Vet是一种新的工具，用于测试大型语言模型(LLMs)处理涉及图像和文字的任务的能力，例如从照片中解决数学问题或解释图片中的笑话。这种工具的出现，为我们提供了一个全新的角度去评估和理解LLMs在图像和文字处理方...