加速MPT 65K上下文模型

最近MosaicML MPT模型仍然备受欢迎。其中一个重要的贡献是“Storywriter”模型，它可以在上下文中使用高达65k个标记。但是，使用这个模型进行推理非常缓慢。通过添加键/值缓存，我们可以将生成速度提高近10倍。 ## 内容摘要： 以下是本文的三个核心要点： - MosaicML MPT模型仍然流行。 - Storywriter模型可以使用高达65k个标记。 - 通过添加键/值缓存，我们可以将Storywriter模型的生成速度提高近10倍。