MM-Instruct是一个大规模数据集，旨在提升大型多模态模型（LMMs）的指令跟随能力。这个数据集集合了大量的指令和相关的视觉内容，帮助模型更好地理解和执行人类的指令。通过这种方式，MM-Instruct能够为多模态模型提...

LLM通过仅扩展就能达到AGI的未来潜力是不太可能的。虽然扩展已经显示出对模型能力的改善，但它主要增强的是复杂性，而不是新出现的能力。获取高质量的训练数据变得越来越具有挑战性。我们需要理清一个关于AI扩展的误...

这个代码库引入了一种新型的Transformer变压器，其KV缓存大小大幅度减少。虽然尚未在大规模上得到证实，但理论上，它可以匹配常规变压器的性能。这意味着，我们现在有了一种新的工具，可以在处理复杂的计算问题时，...

近期，一项新的研究将网络文本视为来自某种“人格”，并以此作为条件，显著提高了下游任务的性能。研究人员发现，在数学领域，这种方法使性能提升了20个百分点。这项研究的方法是通过大规模网络文本数据，创造出约10亿...

这是一篇关于在扩展模型和数据集大小时调整超参数的极好且易于理解的文章。在大数据时代，如何有效地处理和分析庞大的数据集，是当前科技行业面临的一大挑战。本文主要介绍了使用muP进行规模扩展的技术方法。muP是一...

人工智能视频生成平台HeyGen已经成功获得了6000万美元的A轮融资，资金将用于增强其快速、经济有效地创建和本地化工作室质量视频的工具。HeyGen最近的盈利情况良好，年复合增长率达到3500万美元，公司的目标是让所有...

纽约大学（NYU）最近推出了一种全面公开、性能卓越的视觉模型Cambrian-1。此模型对文本编码器和数据混合进行了大规模的消融研究。这一技术的开发，将对视觉模型的研发产生深远影响，推动相关技术向前发展。全面开放...

科技巨头们正在将注意力从大型语言模型转移到更有效的小型语言模型（SLMs），苹果和微软引入的模型具有明显较少的参数，但在基准测试中的性能却相当甚至超越了大型语言模型。OpenAI的CEO建议，我们正在超越LLMs的时...