LISA推出推理分割技术 - LLMS
talkingdev • 2023-08-07
1179756 views
图像分割是一种将图像中属于对象的每个区域进行标记的过程，这比传统的分类问题要复杂得多。而且，如果没有预定义的对象列表，进行通用分割将是一项挑战。包含某些世界表示的语言模型可以为分割提供巨大的推动力。LISA可以返回一个复杂且通常模糊的文本查询的分割掩码。这在某种程度上让人联想到BEIT和Kosmos-2。LISA的理性分割技术，LLMS，已开源在GitHub上供大家学习和使用。
核心要点
- 图像分割是一个比传统分类更复杂的问题，特别是在没有预定义对象列表的情况下。
- 包含世界表示的语言模型可以为图像分割提供巨大的推动力。
- LISA的新技术LLMS允许通过复杂文本查询返回分割掩码，这在某种程度上让人想到BEIT和Kosmos-2。