最近，一种名为LeMeViT的新方法用于降低视觉变换器中的计算成本，其核心策略是使用可学习的元令牌。这些令牌能够有效地捕获关键信息，从而提高推理速度。视觉变换器在计算机视觉领域有着广泛的应用，然而其计算成本...

深度学习中的SiLU和SoftMax函数在许多任务中都是必不可少的，但它们的计算成本很高。为了改进这一点，来自华盛顿大学的研究人员提出了两个新的指数函数，可以将它们的速度提高2倍，同时完全保持准确性。这些函数分别...

近期，一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时，成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本，还为大规模机器学习模型的可访问...

该项目提出了一种改善大型视觉语言模型（例如LLaVA-1.5、QwenVL-Chat和Video-LLaVA）效率的方法，解决了“低效的注意力”问题。使用FastV这种新方法，通过修剪视觉令牌和学习自适应注意力模式来优化这些模型，从而显著...

该项目介绍了一种新的3D建图和定位方法，使用轻量级神经网络处理点和线特征，显著提高了姿态准确性，同时占用更少的内存和计算要求。为了实现更快的姿态估计和更准确的3D建图，该方法使用了一种新的神经网络结构，该...

最近，研究人员提出了一种新方法，称为SLEB，可以通过剪枝冗余的变压器块来加速大型语言模型（LLMs）的训练和推理。该方法可以减少存储空间和计算成本，同时保持模型的准确性。SLEB通过自适应的剪枝技术来删除冗余的...

PAP-REC提出了一种自动创建个性化提示的推荐语言模型的方法，增强了它们的效率和效果。该方法基于用户的历史行为和偏好，并且能够自动识别关键字和短语，以生成更准确的推荐。同时，该方法能够在不增加额外计算成本...

研究人员开发出一种名为共享特征校准（SFC）的方法，以增强语义分割。这个方法通过在特征图上进行跨层归一化，来缩小不同层次特征图之间的差异，从而提高了模型的性能。通过在多个数据集上的测试，研究人员发现，使...