惠普AI Studio正通过多模态大语言模型技术推动医学研究与诊断的范式变革。该平台突破性地整合了文本、影像、基因序列等异构医疗数据，利用先进的跨模态表征学习算法，实现了对复杂医学信息的统一解析与深度挖掘。临...

MMS-LLaMA是一款高效的多模态语音大语言模型框架，专注于自动视觉语音识别（AVSR），在优化标记长度的同时保留了语言内容。该框架通过整合视觉和语音数据，提供了一种全新的方法来提升语音识别的准确性和效率。MMS-L...

近日，GitHub上发布了一个名为REF-VLM的开源项目，该项目通过引入基于三元组的结构化表示，统一了多模态大语言模型（LLMs）中的视觉解码任务。多模态LLMs是当前人工智能领域的前沿技术，能够在处理视觉和文本信息时...

在视频理解领域，大多数模型通常逐帧处理视频数据，这使得处理时间相关的问题变得具有挑战性。STORM模型通过引入Mamba适配器，增加了时间注意力操作，从而显著提升了长视频的理解能力。与Qwen模型相比，STORM在处理...

苹果发布了一款新的代码，使用多模态语言模型来改进人类提供的自然语言图像编辑。这个新的代码的核心思想是使用大型语言模型来指导用户对图像进行编辑，从而提高编辑的质量和效率。该代码的具体实现是将图像与自然语...

针对多模态大语言模型（MLLM）中的幻觉问题，研究人员开发了MHaluBench，一个新的评估幻觉检测方法的基准。该工具可以帮助研究人员更好地评估语言模型的幻觉能力，从而有效提高模型的质量和准确性。目前，该工具已经...

SpeechAgents是一个多模态人工智能系统，能够以惊人的真实度模拟人类的交流。这个系统由多模态LLM支持，可以处理多达25个代理人。它可以通过模仿人类对话，包括连贯的内容、真实的节奏和表达丰富的情感，来创造戏剧...

苹果公司和康奈尔大学的研究人员于10月份发布了一个名为Ferret的开源多模态LLM模型。Ferret是一个系统，可以在图像中的任何位置引用和定位任何东西，并以任何粒度进行查询。该模型可以检查图像上绘制的区域，确定其...