苹果公司开发了一款名为Ferret-UI的多模态大型语言模型（LLM），该模型具备理解移动设备用户界面的能力，有望让Siri更有效地理解并与屏幕上的元素进行互动。Ferret-UI的出现预示着Siri将能够更加直观地与iOS应用进行...

近日，Draw-and-Understand项目推出了一款名为SPHINX-V的多模态大型语言模型。该模型通过视觉提示，旨在增强人与AI之间的互动交流。SPHINX-V结合了文本、图像与声音等多种信息输入，通过深度学习技术，实现了更加自...

近期，GitHub上出现了一个名为Chug的新型数据集加载器项目。Chug专注于处理文本和图像任务，提供了强大且高效的多模态数据加载能力。该工具的出现，对于从事机器学习和人工智能领域的开发者来说，无疑是一个极大的助...

在这篇访谈中，我们深入探讨了David Luan的职业历程，他曾是OpenAI的早期员工、Google大型语言模型项目的领导者之一，以及Google Brain的共同领导。Luan也是Adept的创始人，该公司是AI代理领域的佼佼者。他分享了在...

PSALM是大型多模态模型（LMM）的扩展版本，通过引入一个掩码解码器和多功能输入模式，在各种图像分割任务中表现出色。这种方法不仅克服了仅限于文本输出的限制，而且还使模型能够有效理解和分类复杂图像。PSALM的创...

Character Voice是一套功能，使用户能够在一对一聊天中听到角色对他们说话，将Character.AI体验提升到一个新的层次。这是公司构建多模态界面计划的第一步，该界面将促进更无缝、直观和引人入胜的互动体验。多模态界...

近期，一项新项目在GitHub上发布，该框架通过结合多级残差适配器和视觉-语言对齐损失函数，将CLIP模型重新应用于医疗异常检测。CLIP模型原本是由OpenAI开发的一种多模态预训练模型，能够理解图像和文本之间的关系。...

PuzzleVQA是一个专为测试大型多模态模型，如GPT-4V的抽象推理能力而设计的数据集。该数据集通过一系列复杂的视觉问题和答案对，评估模型在理解和推理方面的表现。这些问题往往需要模型进行深层次的逻辑思考和抽象概...