Effort引擎实现Apple硅芯片上LLM模型推断的实时调整

talkingdev • 2024-04-30

411134 views

Effort引擎为Apple硅芯片上的LLM模型推断提供了实时调整的可能，从而在速度和质量之间找到了平衡。这种方法无需重新训练，但需要转换和预计算，可以通过加载更少的权重使模型运行得更快。开发者正在寻求Swift/Metal工程师的帮助，以优化这个实现，该实现已在GitHub上提供下载。