近期，一个名为tlm的本地命令行助手项目在GitHub上引起了开发者社区的关注。tlm是一个基于CodeLLaMa的本地代码自动补全工具，旨在提高开发者在命令行中的工作效率。通过利用CodeLLaMa的强大代码理解能力，tlm可以自...

Meta在这篇博客文章中概述了用于训练Llama 3的基础设施。它介绍了存储、网络、Pytorch、NCCL等改进。这将为Meta今年其余时间上线的H100s打下基础。

如何加速推理是许多人关注的话题。本代码分享介绍了如何通过静态KV缓存提高Hugging Face框架上Llama模型的推理速度。

Ollama是一个开源的模型库，提供了各种各样的机器学习模型。这个库可以帮助数据科学家和机器学习工程师快速开发和部署模型。但是，有时候我们需要使用自己的模型。在本文中，我们将介绍如何将自己的模型添加到Ollama...

随着人工智能模型的不断发展，越来越多的研究人员开始研究如何在不影响模型准确性的前提下，提高模型的计算效率和内存利用率。LLM量化是一种后训练量化技术，可以使像OPT和LLaMA2这样的大型语言模型更具内存和计算效...

Dual Chunk Attention（DCA）扩展了大型语言模型（如Llama2 70B）的能力，使它们能够处理超过100k个令牌而无需额外的训练。它将注意力计算分解成块，增强了模型对短期和长期上下文的理解。

据报道，Meta的Llama团队仍在努力对齐，以使该模型放松并回答更多实际上并不具有争议性的查询。

MobiLlama是一个完全开源、透明、小型的语言模型，适用于移动设备。它的表现对于一个0.5B参数模型来说非常出色，甚至超过了一些更大的模型。