论文：多模态AI幻觉，解读视觉语言模型的错误描述现象
talkingdev • 2024-02-07
647376 views
本篇论文揭示了大型视觉语言模型（LVLMs）为什么有时会错误地描述图像的原因，这种现象被称为多模态幻觉。语义转移偏差，特别是在段落中断处，是一个关键因素。研究人员发现，模型可能会出现误导性的预测，这些预测与输入图像的视觉内容无关，而是与输入语言的文本内容相关。这篇论文探讨了这种现象的原因，并提供了一些缓解方法，以提高模型的准确性。