谷歌提出“睡眠框架”：让大语言模型在持续学习中像人一样巩固记忆，长上下文可达千万token
talkingdev • 2026-10-28
1906 views
谷歌研究团队提出了一种名为“睡眠框架”的新方法，用于解决大语言模型在持续学习中的灾难性遗忘和知识截止问题。该框架赋予大语言模型连续的周期性生命周期，使其在主动交互与离线记忆巩固之间交替运行。在线阶段，模型接收新信息并形成短期上下文；离线阶段则像人类睡眠一样，将脆弱的短期记忆整合进稳定的长期参数。这一机制使模型能够持续获取新事实，而不必重新训练全部参数，也不会轻易覆盖已有知识。实验显示，睡眠框架可支持模型保留高达1000万token的长上下文知识，并显著提升复杂推理能力。相比传统静态知识截止的模型，这种设计更接近生物记忆机制，为构建能够持续进化的大语言模型提供了新思路，有望在长期部署、知识更新和多轮推理等场景中发挥重要作用。
核心要点
- 睡眠框架通过主动交互与离线记忆巩固交替，为LLM引入周期性生命周期，缓解灾难性遗忘。
- 该框架能将短期上下文固化为长期参数，支持保留高达1000万token的长上下文知识。
- 模型可持续获取新事实并提升复杂推理能力，突破传统静态知识截止的限制。