腾讯ARC实验室最新发布的SEED-Bench-R1基准测试，为多模态大语言模型（MLLM）在复杂视频任务中的表现提供了系统评估框架。该研究重点关注强化学习（RL）和监督微调（SFT）等后训练方法，揭示了RL在视觉感知任务和数...

近日，GitHub上出现了一个名为'awesome-multimodal-adaptation'的开源项目，该项目系统性地整理了多模态自适应领域的最新研究进展。该项目不仅涵盖了传统的领域自适应方法，还包括测试时自适应等新兴技术方向。多模...

近期，一项名为Mixture-of-Mamba的创新研究在人工智能领域引起广泛关注。该研究通过将模态感知稀疏性引入状态空间模型(SSMs)，实现了高效的多模态预训练。与传统Transformer模型相比，Mixture-of-Mamba在文本、图像...

Luma首席科学家宋嘉明，作为最早为扩散模型开发加速算法的先驱，近日发布了新的多模态预训练方法——Inductive Moment Matching（IMM）。这一新方法不仅超越了传统扩散模型在样本质量上的表现，还实现了10倍以上的效率...

近年来，随着多模态学习的发展，构建能够同时处理视觉和语言任务的嵌入模型成为研究热点。然而，传统基于对比损失的方法在处理硬负样本时往往表现不佳，导致模型在复杂检索任务中效果受限。近期，一项研究提出了一种...

近日，一款名为Ratzilla的新型AI技术引起了广泛关注。Ratzilla结合了LLM、agent、embedding、LoRA和RAG等先进技术，展现了在自然语言处理、智能代理和多模态学习领域的强大潜力。该技术通过高效的模型训练和推理机制...

近日，GitHub上发布了一个名为DETRIS的参数高效调优框架，该框架专注于提升多模态任务中视觉特征的传播效率。DETRIS通过密集互连和文本适配器（text adapters）来增强视觉特征的传播，特别是在编码器未对齐的情况下...

在预训练中，如何积极选择下一批最好的样本是一个挑战性和开放性的问题。DeepMind的这项工作探索了如何只花费10%的浮点运算和硬挖掘负样本，仍然能匹配各种任务的最新技术。在这个过程中，他们采用了一种名为“联合样...