Google已经发布了其Gemma 2B和7B参数模型的权重，可通过HuggingFace获得。这些模型是仅解码器的Transformer，训练了2T和6T个令牌。它们在各种基准测试中都比Llama 2表现出色，并提供基础和指令调整版本。

GitHub上发布了一个名为“Flexible Vision Transformer”的仓库，该架构设计用于创建任意分辨率和纵横比的图像。与传统模型不同，FiT将图像视为变量大小的标记序列，在训练和推理过程中更有效地适应不同的图像大小。这...

近日，一种新的Temporal Dilated Video Transformer (TDViT)技术被发布，旨在提高稠密视频任务的分析能力，如逐帧视频对象检测。该技术采用多头自注意力机制，可进行多层次、多尺度的特征提取，同时利用空间和时间的...

KV缓存的量化是Transformer架构的一个技术细节，它使其在推理时使用更少的内存。量化是在最小损失质量的情况下缩小浮点精度。

Lag-Llama是一种基于Transformer的模型，可在零样本和少样本泛化方面表现出色，并在广泛的时间序列数据上进行了预训练。通过对少量数据进行微调，它超越了现有深度学习方法的最新性能，标志着时间序列分析基础模型的...

近日，Point Transformer V3（PTv3）发布了，这是一个简单而高效的3D点云处理模型。与注重复杂设计的模型不同，PTv3通过注重规模和效率，实现了更快的处理速度和更好的内存效率。该模型在GitHub上开源，让广大科技爱...

近日，一种名为MetaTree的新型决策树算法在GitHub上公开发布。与传统的决策树算法不同，MetaTree采用Transformer模型进行学习，从而提高了泛化能力。根据开发者的介绍，MetaTree在多个数据集上进行了测试，结果表明...

3D对象生成的一个关键挑战是可以创建的物品的多样性。本研究使用修改后的架构来提高样本效率，并将系统扩展到可以处理每个3D类别中更大的对象集。