众所周知，现代对话模型依赖于纯文本输入，因此在语言和视觉交互中，模型的表现力有限。为了克服这些限制，研究人员一直在探索多模态对话系统。在此背景下，ChatterBox是一种优秀的多模态对话模型，可在新建立的多模...

近日，一种名为ChartX的新工具发布在GitHub上，用于测试多模态大语言模型（MLLM）在解释和推理可视化图表方面的能力。ChartX通过评估模型对图表的理解能力来测试其多模态能力，包括语言和视觉。该工具可以评估多种不...

Contextual团队发布了一种能够同时生成文本和嵌入式编码的模型，名为生成式表征指导调整模型（Generative Representational Instruction Tuning）。该模型在多模态领域表现出色，远远超过了单一专家模型。这种模型的...

谷歌发布了一款新的 MoE 模型，命名为 Gemini 1.5 Pro，它的性能可以与 Gemini 1.0 Ultra 媲美。同时，它支持上下文1百万令牌，并且相比较于 Gemini 1.0 Ultra，使用更少的计算资源，因为它更小巧。这个模型是本地多...

苹果发布了一款新的代码，使用多模态语言模型来改进人类提供的自然语言图像编辑。这个新的代码的核心思想是使用大型语言模型来指导用户对图像进行编辑，从而提高编辑的质量和效率。该代码的具体实现是将图像与自然语...

AI初创公司Reka宣布推出了一个新的模型，该模型具备210亿个参数，完全从头开始训练。它是本地多模态的，胜过了Llama 70B和Mixtral在多项关键基准测试中。重要的是，考虑到该公司的创始人曾经工作的公司，它也匹配了G...

苹果推出了一款名为MGIE的开源AI模型，用于图像编辑，使用多模态大语言模型来解释文本指令并执行像素级编辑。这种模型可以将人类语言翻译成图像编辑操作，例如“使图像更亮”或“添加红色滤镜”。苹果表示，MGIE的目的是...

新加坡Brilliant Labs推出了一款名为Frame的轻量级AR眼镜，配备了一款名为Noa的多模态AI助手，可以通过集成的AI模型如GPT-4和稳定扩散执行视觉处理、图像生成等多项任务，获得了多位创业投资人的青睐。据悉，这款眼...