[论文推荐]语言模型究竟记住了多少？揭秘记忆与泛化的边界

一项突破性研究通过对比模型在随机数据（无法泛化）和真实文本上的训练表现，开发出区分记忆与泛化的新方法。研究发现，模型会先记忆训练数据直至容量饱和，随后转向学习通用模式。以GPT类Transformer为例，每个参数...

Read More