近日，GitHub上有一个新的仓库OpenRLHF发布了。这是一个基于Ray的RLHF实现，专为Llama样式模型设计。该仓库集成了多种PPO稳定技巧，以提高性能。Ray是一款新型的分布式计算框架，它具有高效、易用等特点，支持快速构...

Qwen团队发布了两个新的语言模型，分别是1.8B和72B的LLMs，与Llama 2相似，这些模型训练了3T个标记，并且在许多任务上表现出色。除了发布聊天版本和量化版本外，这些模型还在推理、数学和代码方面表现出色。

Lag-Llama是一种基于Transformer的模型，可在零样本和少样本泛化方面表现出色，并在广泛的时间序列数据上进行了预训练。通过对少量数据进行微调，它超越了现有深度学习方法的最新性能，标志着时间序列分析基础模型的...

AI初创公司Reka宣布推出了一个新的模型，该模型具备210亿个参数，完全从头开始训练。它是本地多模态的，胜过了Llama 70B和Mixtral在多项关键基准测试中。重要的是，考虑到该公司的创始人曾经工作的公司，它也匹配了G...

RAG系统是一种广泛应用于数据分析和机器学习中的工具，但是许多人都不知道如何在本地构建和使用它。现在，使用Ollama、pgvector和本地数据，您可以构建一个功能强大的RAG系统，将其部署在您自己的硬件上。这本本地RA...

Ollama最近发布了对视觉模型的支持。Llava 1.6版本更新了支持，包括Python和JavaScript包中的视觉功能。

ChatLLM for VS Code是AI辅助自动完成的开源替代品。它现在支持任何Ollama模型，以及使用封闭的API模型。在这个自动化和机器学习越来越流行的时代，ChatLLM提供了一种开源替代方案，为人们提供了更多的选择。

SliceGPT引入了一种新的后训练稀疏化方案，以减少大型语言模型的资源需求。通过将权重矩阵替换为较小的矩阵并减少嵌入维度，它可以在主要模型（如LLAMA2-70B和OPT 66B）中删除高达25%的模型参数，同时保留高达99%的...