Overcoming catastrophic forgetting in neural networks（克服神经网络中的灾难性遗忘）
原文：
https://www.pnas.org/content/pnas/early/2017/03/13/1611835114.full.pdf
翻译：
https://www.dengfanxin.cn/?p=368
摘要：
以顺序方式学习任务的能力对于人工智能的发展至关重要。直到现在，神经网络还没有能力做到这一点，人们普遍认为，灾难性遗忘是连接模型（connectionist models，即神经网络）的一个不可避免的特征。我们表明，有可能克服这种限制，训练能够保持长期未经历的任务专业知识的网络。我们的方法通过选择性地减慢对于这些任务重要的权重的学习来记住旧任务。我们通过一组基于手写数字数据集的分类任务以及依次学习几个Atari 2600游戏来证明我们的方法具有可扩展性和有效性。
摘取自翻译：
在实现通用智能时，神经网络需要持续学习的能力。
持续学习：学习连贯的任务而不会忘记如何执行之前训练过的任务的能力。
灾难性遗忘（catastrophic forgetting）：在一个顺序无标注的、可能随机切换的、同种任务可能长时间不复现的 任务序列中，AI对当前任务B进行学习时，对先前任务A的知识会突然地丢失的现象。通常发生在对任务A很重要的神经网络的权重正好满足任务B的目标时。
当前解决办法是：训练时可同时获得多个任务的数据（与SHL-MDNN在一个batch中包括所有任务的数据这一做法类似），即使得权重对所有任务进行联合优化（多任务学习范式-深度学习技术）。但这中方法不适用于大规模任务。
与人工神经网络形式鲜明对比的是人类和其他动物似乎能够以连续的方式学习[11]。最近的证据提示哺乳动物的大脑可能会通过大脑皮层回路来保护先前获得的知识，从而避免灾难性遗忘[11-14]。当小鼠需要一个新技能的时候，一定比例的突触就会增强，表现为单一神经元的树突棘数量的增加[13]。至关重要的是，即使进行了后续的其他任务的学习，这些增加了的树突棘能够得到保持，以便几个月后相关能力仍然得到保留。当这些树突棘被选择性"擦除"后，相关的技能就会被遗忘[11,12]。这表明对这些增强的突触的保护对于任务能力的保留至关重要。这些实验发现与诸如瀑布模型[15, 16]这样的神经生物学模型提示我们大脑皮层中的持续学习依赖于任务相关突触的巩固，知识能够长久地编码得益于让一部分突触降低可塑性从而在相当长的时间范围内变得稳定。
本次工作将展示任务相关突触巩固为人工智能的持续学习问题提供了独特的解决方案。我们为人工智能神经网络开发了一种类似于突触巩固的算法，称之为可塑权重巩固（elastic weight consolidation，EWC）。这个算法会针对那些对特定任务特别重要的特定权重降低学习率。也会展示EWC如何应用在监督学习和强化学习问题中，在不会遗忘旧任务的情况下，按次序地训练多个任务，并与之前的深度学习技术进行对比。