视觉几何基础Transformer（Visual Geometry Grounded Transformer，简称VGGT）是一种前馈神经网络，能够直接从场景的一个、几个甚至数百个视角中推断出所有关键的3D属性，包括外部和内部相机参数、点云图、深度图以...

最新的技术突破使得我们几乎可以通过在Diffusion Transformer中使用token替换来实现对任何图像的个性化，而无需进行额外的微调或训练。这一创新方法不仅大大简化了个性化图像的生成过程，还显著提高了效率。Diffusio...

Transformer模型在自然语言处理和其他领域取得了显著的成功，而其核心之一是层归一化（Layer Normalization）。然而，最新的研究提出了一种替代方案：通过精心设计的tanh函数，可以在不依赖层归一化的情况下保持模型...

近日，一项名为Mask-Enhanced Autoregressive Prediction（MEAP）的技术在GitHub上发布，该技术通过将Masked Language Modeling（MLM）整合到仅解码器的Transformer中，显著提升了信息检索任务的性能，同时保持了强...

DeepSeek作为少数几家在生成模型底层架构上持续创新的开放模型提供商之一，其研究成果并非依赖于简单的算力堆砌，而是基于对Transformer架构的深刻理解。DeepSeek的研究团队在Transformer的框架内进行了多项优化，使...

字节跳动近期发布了一项名为'Byte Latent Transformer'的新型算法，在大规模模型训练中，采用了Patch而非Token作为基本的处理单元。该算法对于图像和视频内容的理解与分析展现出了卓越的性能，尤其适用于处理高分辨...

近日，研究人员提出了一种高效的线性扩散变换器（linear diffusion transformer），该技术显著提升了高分辨率图像合成的效率。传统的图像合成方法通常面临生成速度慢和计算资源消耗大的问题，而线性扩散变换器通过优...

差异化变换器（Differential Transformer）是一种全新的模型架构，旨在提升自然语言处理任务的性能。它通过针对特定输入特征进行更深层次的学习，能够有效捕捉上下文信息，提高理解和生成的准确性。此外，该模型在处...