Meta发布ExecuTorch框架，为边缘设备上的LLM提供支持
talkingdev • 2024-05-01
408910 views
Meta发布了一款名为ExecuTorch的框架，这是一个后训练量化工具包，能够支持在各种iPhone和Galaxy设备上运行Llama模型。该框架能够在运行7B大小语言模型的手机上，每秒获取多达11个令牌。ExecuTorch框架的发布，进一步推动了移动设备上大规模语言模型的实施，使得智能手机用户能够更好地体验到人工智能的便利。
核心要点
- Meta发布了ExecuTorch框架，这是一个能够在iPhone和Galaxy设备上运行Llama模型的后训练量化工具包。
- ExecuTorch框架能够在运行7B大小语言模型的手机上，每秒获取多达11个令牌。
- ExecuTorch框架的发布，推动了移动设备上大规模语言模型的实施，提升了用户体验。