Meta发布了一款名为ExecuTorch的框架，这是一个后训练量化工具包，能够支持在各种iPhone和Galaxy设备上运行Llama模型。该框架能够在运行7B大小语言模型的手机上，每秒获取多达11个令牌。ExecuTorch框架的发布，进一...

Moondream 2模型作为一种高效的AI模型，其性能强大且体积小巧，现已发布其全功能的VLM可执行文件，名为llamafile。这款全功能的VLM可执行文件是一种完全自包含的程序，可以在边缘设备上运行。这意味着，即使在没有网...

AI 小镇是一个可以在本地完全运行的人类交互模拟器。这一技术的关键在于，它可以能在本地运行，而不需要依赖云端服务。用户可以在自己的计算机上模拟出人类的各种互动行为。这一创新技术的出现，为人工智能的发展提...

Llamafile是一种自包含的可执行文件，可以在任何平台上直接运行模型。它的最新更新带来了两倍的速度提升，以及在可移植性方面的显著改进。这意味着用户可以更快地运行和处理复杂的数据模型，无需担心不同平台之间的...

近日，Meta推出了全新的Llama模型预训练框架——Torchtitan。该框架是完全使用PyTorch编写的，具有高度的灵活性和易用性。对于广大的PyTorch用户和开发者来说，这是一个利好消息。Meta是全球最大的社交网络公司，其在...

Llama3是一种革命性的新技术，它通过使用Unsloth进行微调，可以在保持相同的计算效率的同时，显著降低VRAM的使用量。最近的研究表明，使用Unsloth微调Llama3可以使上下文长度增长六倍，这比HF的flash attention技术...

多模态模型Bunny系列是一套强大的开放模型，尤其在MMMU基准测试中，其性能表现优秀。这是该团队基于Llama3 8B发布的首款开放模型。这个系列的模型采用了SigLIP与Llama3的技术，充分展示了其强大的性能和应用广泛性。...

llamafile项目已经成为Mozilla在GitHub上最受欢迎的项目之一，它为用户提供了一种简单快速的方式，在消费级硬件上运行各种开放的大型语言模型。本文将详细介绍项目的开发过程，以及自v0.1版本以来实施的各种变化。最...