1比特语言模型的研究为深度学习领域带来了新的突破。该技术通过在不损失性能的前提下，对语言模型中的线性层进行量化处理，实现了模型大小的大幅压缩。这一创新使得原本只能在高性能计算平台上运行的700亿参数模型，...

近日，一款名为SliceGPT的新一代模型压缩工具问世。据悉，该工具可以适用于从Phi-2等小型模型到大型模型的多种规模，并可对模型的权重矩阵进行剪枝处理，最大程度保持模型质量的同时，实现模型参数的大幅度减少，以...

MiniMA项目致力于将大型语言模型压缩成小型学生模型的挑战。研究人员发现了不同学生模型的一致最优容量差，并利用这一发现创建了MiniMA，它是从一个7B教师模型中压缩出来的3B模型。MiniMA在效率和性能方面创造了新的...

这项研究介绍了一种使用降阶建模压缩大型语言模型的方法，可以显著减少内存和时间限制，而无需高端硬件。由于大型语言模型在自然语言处理中的应用越来越广泛，因此压缩这些模型以提高计算效率变得尤为重要。研究人员...

在最新的研究中，科学家们介绍了一种名为LLM-FP4的新型方法，该方法能够通过在训练后将大型语言模型的权重和活动转换为4位浮点值，实现对其进行压缩。这种技术的创新之处在于，它不仅能够显著减少模型的存储需求，还...

本研究介绍了LLM-FP4，这是一种新的方法，通过在训练后将大型语言模型的权重和操作转换为4位浮点值来压缩它们。近年来，由于NLP任务的快速发展，语言模型的大小和计算需求不断增加，这给模型的部署和使用带来了很多...