腾讯ARC实验室最新发布的SEED-Bench-R1基准测试，为多模态大语言模型（MLLM）在复杂视频任务中的表现提供了系统评估框架。该研究重点关注强化学习（RL）和监督微调（SFT）等后训练方法，揭示了RL在视觉感知任务和数...

Video-R1项目提出了一种创新的基于规则的强化学习（RL）方法，专门用于视频推理任务。该方法采用了GRPO（Generalized Reinforcement Learning with Policy Optimization）的时间变体，并引入了新的数据集来支持训练...

近年来，随着多模态学习的发展，构建能够同时处理视觉和语言任务的嵌入模型成为研究热点。然而，传统基于对比损失的方法在处理硬负样本时往往表现不佳，导致模型在复杂检索任务中效果受限。近期，一项研究提出了一种...

在视频理解领域，大多数模型通常逐帧处理视频数据，这使得处理时间相关的问题变得具有挑战性。STORM模型通过引入Mamba适配器，增加了时间注意力操作，从而显著提升了长视频的理解能力。与Qwen模型相比，STORM在处理...

近日，Hugging Face Hub发布了一款名为Magma的新型基础模型，专为视觉agent任务设计，尤其在视频理解和UI导航方面表现出色。Magma模型以其易于调优的特性，为开发者提供了强大的工具，以应对复杂的多模态AI任务。该...

SqueezeTime是一款为移动视频理解设计的轻量级网络，其独特之处在于，它能够将视频的时间轴压缩到频道维度中，从而增强了时间分析的能力。SqueezeTime网络的设计理念是，通过压缩时间轴，可以在不牺牲视频内容质量的...

研究人员最近开发了一种名为R2-Tuning的技术，这项技术能够通过识别口语提示来理解视频中的特定时刻。R2-Tuning技术的核心在于其能够对视频内容进行高效的分析和处理，使得机器能够像人类一样理解视频内容中的关键时...

VideoMamba是一种解决视频理解复杂性的解决方案，它通过高效地管理本地冗余和全局依赖性来实现。该项目的创建者宣布，他们已经将代码和模型全部发布到GitHub上供公众使用。这个开源项目将提高人工智能在视频理解上的...