近期,一个名为tlm的本地命令行助手项目在GitHub上引起了开发者社区的关注。tlm是一个基于CodeLLaMa的本地代码自动补全工具,旨在提高开发者在命令行中的工作效率。通过利用CodeLLaMa的强大代码理解能力,tlm可以自...
Read MoreMeta在这篇博客文章中概述了用于训练Llama 3的基础设施。它介绍了存储、网络、Pytorch、NCCL等改进。这将为Meta今年其余时间上线的H100s打下基础。
Read MoreOllama是一个开源的模型库,提供了各种各样的机器学习模型。这个库可以帮助数据科学家和机器学习工程师快速开发和部署模型。但是,有时候我们需要使用自己的模型。在本文中,我们将介绍如何将自己的模型添加到Ollama...
Read More随着人工智能模型的不断发展,越来越多的研究人员开始研究如何在不影响模型准确性的前提下,提高模型的计算效率和内存利用率。LLM量化是一种后训练量化技术,可以使像OPT和LLaMA2这样的大型语言模型更具内存和计算效...
Read MoreDual Chunk Attention(DCA)扩展了大型语言模型(如Llama2 70B)的能力,使它们能够处理超过100k个令牌而无需额外的训练。它将注意力计算分解成块,增强了模型对短期和长期上下文的理解。
Read MoreMobiLlama是一个完全开源、透明、小型的语言模型,适用于移动设备。它的表现对于一个0.5B参数模型来说非常出色,甚至超过了一些更大的模型。
Read More