伯克利的一组研究人员使用合成偏好数据训练了一个新的最先进的7B参数模型。本文讨论了训练奖励模型的新挑战（例如，示例在列表中的位置会改变其排名）以及他们如何克服这些挑战。结果模型可与经过训练的奖励模型一起...

以下为新闻内容的主要要点： - 研究人员利用GPT-4生成的指令跟踪数据进行LLaMA微调，实现了在英语和中文两种语言中新任务的零-shot表现优于之前的最先进模型。 - 该突破性进展伴随着全面的评估和奖励模型训练，数据...