语言模型的性能往往受到其上下文长度的限制。一般来说，上下文长度的限制主要源于计算硬件和聪明的算法更新。StreamingLLM（Github Repo）提供了一种算法更新，通过将令牌流式传输至注意力机制，理论上可以支持无限...

Meta公司新推出的Emu图像生成模型已在用户偏好调查中超越SDXL。Emu模型是在11亿图像对上进行预训练的，只在几千张精心策划的图像上进行了微调。此模型将作为Meta新AI助手计划的主要支柱。Emu的高效性能，证明了大规...

对预训练的视觉模型进行特定任务的微调，通常需要大量额外的计算能力。然而，研究人员已经提出了一种名为“显著通道调整”（SCT）的方法，这种方法可以智能地选择模型中需要微调的部分，使用的额外设置要远少于其他方...

DeepSpeed是微软推出的一个库，可以用来扩大语言模型的预训练。虽然使用起来有些复杂，但它提供了强大的抽象功能。微软最近添加了序列并行性，可以训练具有更长上下文长度的模型。这并不是一个新的突破，而是对开源...

轩辕是国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。轩辕在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的...

在一篇新的研究报告中，研究人员在聊天式提示中通过检索9个演示示例，使用预训练的Llama-2语言模型进行了在上下文中的学习。这种方法并没有改变模型的权重，但它使得与文本达芬奇-003模型相比，赢率增加了7倍，使其...

transformer模型帮助机器人看，帮助机器人计划，甚至帮助机器人控制？看起来，变形金刚正在继续吞噬世界，这是谷歌在机器人技术方面的最新尝试，利用强大的预训练模型改善机器人的各种性能。这一新的尝试使得机器人...

最近，有一款名为AlignDet的两阶段预训练框架在GitHub上开源，旨在弥补物体检测算法中的预训练和微调程序之间的差距。AlignDet的设计目标是提高算法的性能、泛化能力以及收敛速度。通过对预训练和微调过程的深度优化...