近日，研究人员发现了一种针对视觉变换器（Vision Transformers）的新型安全威胁。这种被命名为“SWARM”的攻击手法，利用一个“切换令牌”秘密激活模型中的后门行为，使其对用户具有高度的隐蔽性和危险性。视觉变换器是...

理解Transformer的工作原理常常需要多次尝试。本篇博客文章通过详细解读Gemma架构，帮助读者深入理解Transformer。文章内容明了，包含了代码和图解，无论是对于初学者还是专业人士来说，都能从中获取到有价值的信息...

Mamba模型是一种先进的方法，擅长处理长序列，而不会带来传统Transformers的计算缺点。在计算机视觉领域，Mamba模型已经取得了显著的成果，并在多个应用中展现出其优越性。相比于传统的Transformers模型，Mamba模型...

AI21实验室近日发布了一款新型语言模型——Jamba，它采用了独特的模型结构，旨在实现比Transformers更高的效率，同时保持相当的性能水平。Jamba模型的最大亮点在于其创新性地融合了MoE（Mixture of Experts）层，这使...

最新研究项目YOLOX-ViT在水下机器人领域中引入了一种创新的目标检测方法，该方法通过整合视觉变换器（Visual Transformers）和知识蒸馏（Knowledge Distillation）技术，显著提高了目标检测的准确性和效率。该技术的...

近日，一项名为ViT-CoMer的神经网络模型问世，增强了Vision Transformers（ViT）在密集预测任务中的表现，而无需预训练。这项研究由卡内基梅隆大学的学者领导，他们在GitHub上公开了相关代码和数据集。ViT-CoMer能够...

MUSE是一种使用Transformers的掩蔽图像生成模型。HuggingFace和Stability AI已经合作开源复现该模型，并发布了训练代码、模型检查点和论文。虽然这些模型的训练时间不如一些最好的图像扩散模型长，但它们显示出了很...

微软的最新模型现已在HuggingFace上提供研究用途。Phi-2是一种基于Transformers的语言生成模型，它被训练用于生成各种文本，包括问答、对话和自然语言生成。该模型采用的是自回归模式，即在生成下一个单词或字符时，...