Google Research 官方 AI 技术研究·· 5 小时前精选AI 评分71
Google 提出睡眠框架，让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
先看结论
原文给出可验证的持续学习机制与基准结果，但属研究阶段，未涉及设计或生产工作流验证。
报道讲了什么
- Google 研究者提出睡眠框架，让 LLM 在活跃阶段与离线睡眠阶段之间循环。
- 睡眠阶段解锁预分配的 MoE 记忆块，用自生成练习样本更新权重。
可以做什么
- 通过参数扩展与知识播种，把高频短期记忆蒸馏进新扩展的长期参数。
- 在睡眠阶段随机激活专家并筛选合成样本，用于自我改进。
- 原文报告在 BABILong 上长上下文理解可扩展至 10M token。
怎么使用
原文没有提供可复现的操作步骤，请从下方原文或官方说明确认使用方法。
结果与限制
- 框架在固定模型架构和人工定义的训练规则内运行，睡眠等术语借自神经科学。
- 持续翻译的近乎零性能下降仅针对满语、Kalamang 等未见语言的多阶段评测。
使用入口与依据
推荐理由
Google 研究者提出睡眠框架，用离线巩固与合成练习让 LLM 持续学习，并给出多组基准对比结果。
来源：Google Research 官方 AI 技术研究 · research.google
事件后续
查看事件全部正在读取事件进展…