近日，Meta发布了一份1.2万亿标记数据集，可用于复现Llama模型的训练过程。该数据集是基于Llama论文中的训练混合比例构建而成，旨在解决由于许可限制而无法商业化应用的问题。 以下是该新闻的三个核心要点： - Met...

这篇论文介绍了 Vicuna-13B，一个利用 LLaMA 对用户分享的对话进行微调训练的开源聊天机器人。在超过 90% 的情况下，Vicuna-13B 的表现优于其他模型，如 LLaMA 和 Stanford Alpaca，并且在与 OpenAI ChatGPT 和 Goog...

## 新闻内容： Wombat是一种新的RLHF（Reinforcement Learning with Human Feedback，即通过人类反馈进行强化学习）学习范式，它通过更高效地将语言模型输出与人类喜好对齐，在需要更少的模型的情况下提供了简单的P...

Databricks发布了他们模型Dolly 2.0的新版本，该模型基于EleutherAI Pythia模型，经过指令调整后使用全新的商业可行数据集。虽然不清楚它与基于llama的模型或GPT 3.5 turbo的模型相比如何，但这是一项更加开放的工作...