嵌入是许多AI用例的基础。由于速率限制，它们可能很昂贵且缓慢。本文介绍了如何使用Modal来有效且正确地扩展嵌入过程。

ColBERT是用于检索的较好的嵌入模型之一。由于许多人正在构建启用RAG的人工智能应用程序，因此值得探索和使用。这个实现是一个简单和直接的复制，没有性能优化和它们所增加的复杂性。它使用HuggingFace的BERT，但实...

生成式图像模型最受欢迎的用途之一是个性化风格的图像生成。历史上，这需要训练LoRA或使用DreamBooth。现在，通过使用ID嵌入，您可以在仅使用单张图像的情况下大大提高质量并降低计算成本。

本文探讨了当前主流的预训练语言模型加入多模态功能的范式。即，在编码器和文本模型之间对齐嵌入。该方法能够让语言模型更好地理解来自视觉和听觉等多个模态的信息，从而提高其自然语言处理的能力。近年来，语言模型...

LMSYS发布了两项语言模型推理的新技术。第一项是对后端进行的改进，提高了每秒的标记总数性能。第二项是嵌入式领域特定语言，用于复杂提示技术，允许并行提示。

Together Compute一直在探索不同的Transformer替代方案。最近，他们发布了一款检索模型，该模型的表现优于许多闭源嵌入式模型，适用于检索任务。该模型命名为Monarch Mixer 32k。它是一个基于深度神经网络的模型，可...

视觉Transformer (ViT)已经成为视觉领域的主要研究方向，然而在它们的嵌入中，仍然有时会出现网格状的伪影。这使得社区在将其应用于下游任务时持怀疑态度。本研究提出了一种更新位置嵌入的方法，消除了这一问题，并...

有很多方式可以对齐语言模型，例如SFT、LoRa、RLHF、DPO、Prompting和Threatening。本研究提出使用负嵌入加到偏置项中，以将模型生成推向期望的结果。