众所周知，现代对话模型依赖于纯文本输入，因此在语言和视觉交互中，模型的表现力有限。为了克服这些限制，研究人员一直在探索多模态对话系统。在此背景下，ChatterBox是一种优秀的多模态对话模型，可在新建立的多模...

随着强大的新视觉模型的出现，许多团队正在尝试构建使用视觉与Web元素交互的代理程序。Tarsier工具包介绍了一套标准工具（例如元素标记），您可以使用任何视觉系统来理解网页并执行操作。它还包括用于非视觉语言模型...