漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-01-31 talkingdev

SliceGPT:新一代模型压缩工具问世

近日,一款名为SliceGPT的新一代模型压缩工具问世。据悉,该工具可以适用于从Phi-2等小型模型到大型模型的多种规模,并可对模型的权重矩阵进行剪枝处理,最大程度保持模型质量的同时,实现模型参数的大幅度减少,以...

Read More
2024-01-12 talkingdev

Unsloth轻量化库加速TRL上的模型

Unsloth是一个轻量化库,可加速语言模型的微调。它现在可以轻松地与TRL在常见的模型架构上配合使用。Unsloth库通过一个简单的API使得模型训练和微调更快速。它可以帮助从训练数据中自动学习、优化和微调模型,使得模...

Read More