Sparse开源揭示反馈如何影响大型语言模型
talkingdev • 2023-09-01
1108301 views
在训练大型语言模型以理解和匹配人类价值时，我们是使用评分（rating）还是比较（ranking）作为反馈？这项研究发现，选择的方式对结果影响颇大。例如，通过比较评估时，使用排名训练的模型往往更受青睐，但在打分评估中未必总是如此。这显示出我们选择提供反馈的方式对模型在现实生活中的工作效果有重大影响。因此，对于使用大型语言模型的研究者和开发者来说，如何选择和使用反馈方式将是一个重要的考量因素。
核心要点
- 在训练大型语言模型时，使用评分或比较作为反馈的选择对结果有重大影响
- 通过比较评估，使用排名训练的模型更受青睐
- 选择提供反馈的方式对模型在现实生活中的工作效果有重大影响