本周，Mistral公司的CEO确认了Mistral的一个量化版本文件在HuggingFace上泄露，该技术使得在较弱的电脑和芯片上运行某些AI模型成为可能。据报道，该模型在EQ-Bench上超过了全球所有其他LLM模型，仅次于GPT-4。Mistra...

苹果公司和康奈尔大学的研究人员于10月份发布了一个名为Ferret的开源多模态LLM模型。Ferret是一个系统，可以在图像中的任何位置引用和定位任何东西，并以任何粒度进行查询。该模型可以检查图像上绘制的区域，确定其...

这项研究介绍了一种使用降阶建模压缩大型语言模型的方法，可以显著减少内存和时间限制，而无需高端硬件。由于大型语言模型在自然语言处理中的应用越来越广泛，因此压缩这些模型以提高计算效率变得尤为重要。研究人员...

本研究介绍了LLM-FP4，这是一种新的方法，通过在训练后将大型语言模型的权重和操作转换为4位浮点值来压缩它们。近年来，由于NLP任务的快速发展，语言模型的大小和计算需求不断增加，这给模型的部署和使用带来了很多...

随着越来越多的新模型问世，寻找一种能够轻松拉取并运行这些模型的方法变得具有挑战性。而且，重新混合和制作这些模型也不是一件容易的事情。然而，这款名为Ollama的小工具让测试最新模型变得简单。这款工具具有用户...

原名为Adept的柿子科技公司，近期推出了其极其高效的8b参数模型——柿子-8B。同时，该公司也发布了推理代码。此次发布的模型和代码中包含了许多亮点，其中最引人注目的是具备70k未使用的嵌入功能，这为多模态扩展提供...

Lagent是一个轻量级框架，专门用于构建基于LLM（Logical Layered Modeling）的代理。这种框架的设计目的是为了简化和提高基于这种模型的代理的开发效率。LLM模型是一种强大的工具，可以用于模拟和管理复杂的系统，而...

Anthropic近日发布了更新版本的快速、经济的文本生成模型Claude Instant。此模型能生成更长、结构更严谨的回复，更好地遵循格式指示，并在引用提取、多语种能力和问答方面表现出改善。Claude Instant已通过API可供使...