微信扫码实时跟踪AI前沿
跨视角训练(SCT)可以提高小型语言模型的性能,使其能够生成先前仅可由较大模型实现的句子嵌入,从而优化性能和计算效率。
最近,一篇论文的作者们开发出了一种名为“共思”的方法,该方法利用大型语言模型来提高较小的“婴儿级”模型的训练效果。他们通过重新处理GPT-3.5-turbo的数据集,并以RoBERTa的方式训练较小的模型,使得该模型在语言测...