现在，你可以通过在模型的首次运行中将一些懒加载移动到模型上，以极小的每秒令牌损失来显著提升模型初始化的速度。这种改进将大大提升模型运行效率，为用户带来更流畅的体验。

在知识蒸馏和初始化方面已经做了大量的工作，例如“彩票假设”。这项工作提供了一种简单的机制，可以从一个更大的模型中初始化一个更小的模型。这显著提高了较小模型的性能。