LOMO：高效的LLM训练（GitHub开源）
talkingdev • 2023-06-21
1315442 views
这项研究介绍了LOw-Memory Optimization（LOMO），这是一种旨在显著减少大型语言模型（LLM）训练所需资源的优化器，目前这一过程需要大量的GPU资源。LOMO的创新方法使得只需使用一台具有8个RTX 3090 GPU（每个具有24GB内存）的计算机，即可对一亿六千五百万参数的模型进行微调，将内存使用量降低到标准方法的10.8%。
核心要点
- LOMO是一种旨在减少大型语言模型训练资源的优化器
- 使用LOMO，只需一台计算机和8个RTX 3090 GPU，即可对65亿参数的模型进行微调
- LOMO将内存使用量降低到标准方法的10.8%