Epoch AI最新研究显示，人工智能领域正经历前所未有的计算规模扩张。2024年全球已追踪到201个计算量超过10²³ FLOPs的AI大模型，较2017年仅有的2个实现指数级增长。尤其值得注意的是，以GPT-4为代表的顶尖模型已突破1...

一项突破性研究通过对比模型在随机数据（无法泛化）和真实文本上的训练表现，开发出区分记忆与泛化的新方法。研究发现，模型会先记忆训练数据直至容量饱和，随后转向学习通用模式。以GPT类Transformer为例，每个参数...

Hugging Face平台最新发布的SIFT-50M（Speech Instruction Fine-Tuning）数据集，是一个包含5000万样本的大规模语音指令微调数据集，专为语音-文本大语言模型（LLMs）的指令微调和预训练而设计。该数据集基于公开可...

大规模训练中的不稳定性对于大多数研究人员来说很难复制。一项新论文展示了如何在小模型中重现这些不稳定性，并验证了许多常见的修复方法在这些小模型上同样有效。该论文的作者认为，这样做有助于提高大规模训练的可...