这项研究探讨了如何使'学生'网络（较小的模型）在从未遇到过的情况下，更好地从'教师'网络（较大的模型）中学习。研究介绍了一种名为权重平均知识蒸馏（WAKD）的新方法，该方法的效果与现有技术一样好，但使用更为简...

科研人员已经开发出一种名为CALM的新测试，用来检查AI语言工具是否存在偏见。他们从不同的来源收集了大量的数据，并测试了各种AI模型，结果发现一些大型AI模型的偏见可能比较小的模型更严重。这一发现对于AI领域的研...

最近，一篇论文的作者们开发出了一种名为“共思”的方法，该方法利用大型语言模型来提高较小的“婴儿级”模型的训练效果。他们通过重新处理GPT-3.5-turbo的数据集，并以RoBERTa的方式训练较小的模型，使得该模型在语言测...

## 新闻内容: 最近的一项研究发现，小模型在算术方面甚至可以击败GPT4，这一发现令人惊喜。具体来说，已经有许多强大的基础模型被用于算术任务的微调，但是llama tokenizer（将数字分割成单个数字）在算术方面的优...

研究人员设计了一种新方法，使用虚拟模拟器为语言模型提供“具身体验”，以培养其对真实世界的理解和规划能力。这种新方法显著提高了模型的能力，使得小型模型的表现与 ChatGPT 等大型模型相当甚至更好。 ## 三个核心...

在自然语言处理中，大型语言模型的推理能力往往比小型模型更强。这种推理能力有助于解决困难的任务，并可能使语言模型成为下一代计算平台/操作系统的基础。通过代码训练、思维链提示和强化学习等技术，可以提高模型...