Meta发布了一款名为ExecuTorch的框架,这是一个后训练量化工具包,能够支持在各种iPhone和Galaxy设备上运行Llama模型。该框架能够在运行7B大小语言模型的手机上,每秒获取多达11个令牌。ExecuTorch框架的发布,进一...
Read MoreMoondream 2模型作为一种高效的AI模型,其性能强大且体积小巧,现已发布其全功能的VLM可执行文件,名为llamafile。这款全功能的VLM可执行文件是一种完全自包含的程序,可以在边缘设备上运行。这意味着,即使在没有网...
Read MoreAI 小镇是一个可以在本地完全运行的人类交互模拟器。这一技术的关键在于,它可以能在本地运行,而不需要依赖云端服务。用户可以在自己的计算机上模拟出人类的各种互动行为。这一创新技术的出现,为人工智能的发展提...
Read MoreLlamafile是一种自包含的可执行文件,可以在任何平台上直接运行模型。它的最新更新带来了两倍的速度提升,以及在可移植性方面的显著改进。这意味着用户可以更快地运行和处理复杂的数据模型,无需担心不同平台之间的...
Read More近日,Meta推出了全新的Llama模型预训练框架——Torchtitan。该框架是完全使用PyTorch编写的,具有高度的灵活性和易用性。对于广大的PyTorch用户和开发者来说,这是一个利好消息。Meta是全球最大的社交网络公司,其在...
Read MoreLlama3是一种革命性的新技术,它通过使用Unsloth进行微调,可以在保持相同的计算效率的同时,显著降低VRAM的使用量。最近的研究表明,使用Unsloth微调Llama3可以使上下文长度增长六倍,这比HF的flash attention技术...
Read More多模态模型Bunny系列是一套强大的开放模型,尤其在MMMU基准测试中,其性能表现优秀。这是该团队基于Llama3 8B发布的首款开放模型。这个系列的模型采用了SigLIP与Llama3的技术,充分展示了其强大的性能和应用广泛性。...
Read Morellamafile项目已经成为Mozilla在GitHub上最受欢迎的项目之一,它为用户提供了一种简单快速的方式,在消费级硬件上运行各种开放的大型语言模型。本文将详细介绍项目的开发过程,以及自v0.1版本以来实施的各种变化。最...
Read More