近代LML中常用的多头注意力模块的不同实现之间的速度存在近10倍的差异。本笔记本展示了其中几个实现，并对其性能进行了基准测试。

近日，一项名为LLMLingua的新项目在GitHub上开源。该项目使用对齐后的小型语言模型检测提示中的无关标记，并实现对黑盒LLM的压缩推理，从而实现了高达20倍的压缩比，且性能损失最小。简言之，LLMLingua能够帮助开发...

最近，Mistral发布了一个使用MLX生成文本的示例，这是一种基于人工智能的技术，它可以生成高质量的自然语言文本。该示例代码可以在GitHub上找到，它展示了如何使用Mistral的MLX库来生成文本。MLX库是Mistral的核心开...