大模型也得「睡觉」？

今天，Google 研究员 Ali Behrouz 在 X 上分享了团队的一项研究《Language Models Need Sleep》。研究中提出，大模型需要像人一样在「清醒」和「睡眠」间切换。

所谓「睡眠」并非关机，而是增设专门的「整理阶段」。当前模型虽能通过上下文和外部记忆访问信息，但真正稳定的知识储存在参数中，每次更新都可能引发「灾难性遗忘」——学会新东西，却忘了旧能力。

研究提出「知识播种」（Knowledge Seeding）的概念：用已掌握新信息的模型当教师，将知识迁移到容量更大的新参数中，让新知识拥有相对独立的空间，避免覆盖原有能力。同时引入「做梦」（Dreaming）机制：模型围绕近期学到的知识生成新问题，用这些数据训练自己，把一次真实任务变成下一轮训练的起点。一个编程 Agent 若连续在同类依赖冲突上失败，可生成更多变体练习识别与规避错误。

「清醒—睡眠」循环或将改变行业评价模型的方式——除了模型发布时的参数与速度，运行半年后学到了什么、有没有遗忘旧能力，同样值得关注。

Google大模型也得睡觉AI大模型灾难性遗忘