机器学习工程开源书籍发布，该项目是一个开放的方法论集合，旨在帮助成功训练大型语言模型和多模态模型。该材料适用于LLM/VLM培训工程师和运营人员。书籍包含大量脚本和复制粘贴命令，以使读者能够快速解决问题。该...

本文探讨了当前主流的预训练语言模型加入多模态功能的范式。即，在编码器和文本模型之间对齐嵌入。该方法能够让语言模型更好地理解来自视觉和听觉等多个模态的信息，从而提高其自然语言处理的能力。近年来，语言模型...

SpeechAgents是一个多模态人工智能系统，能够以惊人的真实度模拟人类的交流。这个系统由多模态LLM支持，可以处理多达25个代理人。它可以通过模仿人类对话，包括连贯的内容、真实的节奏和表达丰富的情感，来创造戏剧...

LLaVA-Phi是一款创新的多模态助手，它使用Phi-2语言模型。尽管参数只有2.7B，但LLaVA-Phi在多模态对话中表现出色，结合了文本和视觉。该助手可以在多个领域内使用，例如智能家居和自动驾驶等。

本项目介绍了对Google的Gemini进行深入分析的研究，Gemini是一种多模态大型语言模型，评估其在各种任务中的常识推理性能。该研究与其他模型进行了比较，揭示了其在跨模态知识整合方面的竞争能力。

苹果公司和康奈尔大学的研究人员于10月份发布了一个名为Ferret的开源多模态LLM模型。Ferret是一个系统，可以在图像中的任何位置引用和定位任何东西，并以任何粒度进行查询。该模型可以检查图像上绘制的区域，确定其...

M3DBench是一个全新的广泛数据集，旨在改变AI的3D理解，填补多模态语言模型研究中的差距。它包括超过320,000个不同的指令响应对，集成了文本、图像和3D对象，为AI执行更广泛的现实3D任务铺平了道路。

Nous Research （Hugging Face Hub）发布了一种名为Capybara的新的语言基础模型和Obsidian的多模态扩展模型，该模型拥有30亿参数，可以在手机等边缘设备上运行。