FastV: 优化视觉语言模型效率方法开源
talkingdev • 2024-03-13
549030 views
该项目提出了一种改善大型视觉语言模型（例如LLaVA-1.5、QwenVL-Chat和Video-LLaVA）效率的方法，解决了“低效的注意力”问题。使用FastV这种新方法，通过修剪视觉令牌和学习自适应注意力模式来优化这些模型，从而显著降低计算成本，同时不会影响与图像和视频相关的任务性能。
talkingdev • 2024-03-13
549030 views
该项目提出了一种改善大型视觉语言模型（例如LLaVA-1.5、QwenVL-Chat和Video-LLaVA）效率的方法，解决了“低效的注意力”问题。使用FastV这种新方法，通过修剪视觉令牌和学习自适应注意力模式来优化这些模型，从而显著降低计算成本，同时不会影响与图像和视频相关的任务性能。