这项研究介绍了一种使用降阶建模压缩大型语言模型的方法，可以显著减少内存和时间限制，而无需高端硬件。由于大型语言模型在自然语言处理中的应用越来越广泛，因此压缩这些模型以提高计算效率变得尤为重要。研究人员...

跨视角训练（SCT）可以提高小型语言模型的性能，使其能够生成先前仅可由较大模型实现的句子嵌入，从而优化性能和计算效率。

研究人员开发出BitNet，这是一种新的大型语言模型设计，使用更少的能量和内存。BitNet使用一种新的技术来平衡模型的准确性和计算效率，同时减少了对大量数据的依赖。这一新设计的目的是为了降低大型语言模型的计算成...

近日，一篇深度解析如何使用PyTorch 2.0的torch.compile和Nvidia CUDA图表功能提升深度学习模型性能的文章引起了广泛关注。该文章详细介绍了借助CUDA图表在Llama 2上实现了2.3倍的速度提升。这对于对性能敏感的AI从...

最新研究中，科研人员引入了一种名为‘聚焦线性注意力’的新方法，使变压器（Transformers）变得更为高效和强大。研究人员设计了新的映射函数和秩恢复模块，旨在在保持计算需求较低的同时，提升模型的性能。这一突破性...