本文总结了2023年人工智能发展的亮点，包括如何在个人设备上运行LLM，微调模型，易受欺骗的问题，LLM应用等等。LLM可以为有效使用它们的人提供显著的生活质量提升。它们实际上相当容易构建，但仍有很多未知数，对于...

这门关于大型语言模型的课程涵盖了数学、Python和神经网络的基本知识。它的重点是教授学生如何使用最新技术构建和部署最佳的LLMs。该存储库包含与LLMs相关的笔记本和文章列表以及进一步学习的资源。

本文探讨了模型中存在几乎所有输入都会使用的热神经元和很少使用的冷神经元的想法。通过将热神经元预加载到GPU中，您可以节省内存而不会牺牲太多吞吐量。可以使用配套的代码库。

苹果公司和康奈尔大学的研究人员于10月份发布了一个名为Ferret的开源多模态LLM模型。Ferret是一个系统，可以在图像中的任何位置引用和定位任何东西，并以任何粒度进行查询。该模型可以检查图像上绘制的区域，确定其...

本文探讨了模型拥有热神经元和很少使用的冷神经元的想法。通过将热神经元预加载到GPU上，您可以节省内存而不会牺牲太多吞吐量。同时，该文提供了一个可用的代码库。

苹果研究人员使用创新的闪存利用技术，在苹果设备上部署大型语言模型取得了关键突破。该方法采用窗口化和行列捆绑技术，以最小化数据传输并最大化闪存吞吐量。它可以使AI模型在标准处理器上运行速度提高高达5倍，在...

苹果研究员使用一种创新的闪存利用技术，为在具有有限内存的苹果设备上部署大型语言模型打开了关键突破。该方法使用窗口化和行列捆绑技术来最小化数据传输，最大化闪存吞吐量。它使得 AI 模型在标准处理器上运行速度...

近日，一项名为LLMLingua的新项目在GitHub上开源。该项目使用对齐后的小型语言模型检测提示中的无关标记，并实现对黑盒LLM的压缩推理，从而实现了高达20倍的压缩比，且性能损失最小。简言之，LLMLingua能够帮助开发...