据悉,最近发布的Stablecode 3B模型表现出色,其强大的性能超过了7B的CodeLlama模型。同时,该模型的尺寸足够小,能够在MacBook上本地运行,无需像7B模型一样需要大量的计算资源。这一模型的发布,标志着技术领域的...
Read More这项研究介绍了一种使用降阶建模压缩大型语言模型的方法,可以显著减少内存和时间限制,而无需高端硬件。由于大型语言模型在自然语言处理中的应用越来越广泛,因此压缩这些模型以提高计算效率变得尤为重要。研究人员...
Read More科学家们开发出一种新方法,使用生成扩散技术创建代理数据集,这种数据集具有更好的代表性和更多样化,同时需要的计算资源更少。这种方法可以通过在代理数据集中训练神经网络来提高模型的性能。这种方法可以降低计算...
Read More在最新的研究中,科学家们介绍了一种名为LLM-FP4的新型方法,该方法能够通过在训练后将大型语言模型的权重和活动转换为4位浮点值,实现对其进行压缩。这种技术的创新之处在于,它不仅能够显著减少模型的存储需求,还...
Read MoreOpenPipe是一种基于少数提示行为的模型简化工具。在当前的人工智能领域,模型的训练和部署往往需要大量的计算资源和时间,这对许多用户来说是一种负担。然而,OpenPipe的出现改变了这一状况。它通过利用少数提示行为...
Read More对预训练的视觉模型进行特定任务的微调,通常需要大量额外的计算能力。然而,研究人员已经提出了一种名为“显著通道调整”(SCT)的方法,这种方法可以智能地选择模型中需要微调的部分,使用的额外设置要远少于其他方...
Read MoreIBM近日发布了一系列混合专家模型(Mixture-of-Experts,MoE),并公开了它们的架构和部分代码。MoE模型是一种稀疏模型,意味着在不牺牲准确性的情况下,可以节省计算资源。然而,训练这种模型却颇具挑战性。这次IBM...
Read MoreExLlamaV2是一个在GitHub上开源的项目,它是为现代消费级图像处理单元(GPU)上运行本地语言模型(LLMs)而设计的推理库。这款推理库的出现,可以帮助用户在个人电脑上使用现代GPU进行深度学习模型的推理计算,而无...
Read More