在预训练中，如何积极选择下一批最好的样本是一个挑战性和开放性的问题。DeepMind的这项工作探索了如何只花费10%的浮点运算和硬挖掘负样本，仍然能匹配各种任务的最新技术。在这个过程中，他们采用了一种名为“联合样...

近期，WizardLM团队的研究进展备受关注。他们最新的论文探讨了用于指令调整的数据策划问题。WizardLM在强化学习部分做出了突破性的提升，成功超越了许多封闭源模型在数学和推理任务上的表现。他们的研究成果可能会对...