Analysis of adaptive quasi-newton algorithm for eigensubspace tracking

1.   引言

随着深度学习的快速发展，人工智能技术达到了前所未有的高度，在机器翻译^[1-3]、情感分析^[4-6]、目标检测^[7-9]、图像分类^[10-12]等领域取得了瞩目成就，但深度学习在独立同分布数据中表现良好^[13]，从非独立同分布数据中获取增量知识会导致已有任务权重被覆盖，在处理新任务时导致深度学习模型性能下降^[14]。持续学习(Continuous Learning, CL)在从非独立同分布数据流中获取增量知识，不断积累新知识的同时无须从头学习。

为克服深度学习模型在非独立同分布数据中已有任务权重被新任务干扰，导致人工神经网络(Artificial Neural Network, ANN)模型性能下降问题^[15]，ANN一方面需要整合新知识与提炼迁移旧知识(可塑性)，另一方面又必须防止新知识对已有知识的显著干扰(稳定性)，这构成了稳定性-可塑性困境^[16]，类脑中平衡稳定性-可塑性困境的机制是ANN实现CL的重要灵感来源。

类脑CL能力有多种学习与记忆机制参与，是脑启发式CL的重要灵感来源：突触启发方法通过保留重要突触实现CL；模块化启发方法通过隔离参数实现CL；双系统启发方法借鉴海马体-新皮质层机制，通过长短期记忆网络的配合实现CL；睡眠启发方法在ANN中添加睡眠程序，通过在清醒与睡眠之间的切换来缓解灾难性遗忘。图1展示了大脑4种CL机制对应的CL方法。此外，类脑CL机制还是正则化与稀疏化等经典CL方法研究的重要参考。从类脑CL机制的角度出发，脑启发式CL是解决现有CL技术困境的主要解决方案之一。

图  1  脑启发式持续学习

下载: 全尺寸图片 幻灯片

关于CL的研究取得了一些进展，在科学网Web of Science数据库中以“Continuous Learning”为关键词进行搜索，仅调研到4篇CL综述：

(1)Lesort等人^[17]介绍CL背景与策略，总结已有指标与基准，重点讨论CL在机器人领域的应用前景，并提出一个评估CL在机器人领域应用的框架。

(2)Delange等人^[13]重点介绍讨论重放、正则化和参数隔离3种CL方法，并从所需内存、计算时间和存储3方面对3种CL方法进行定性比较与测试。

(3)Hadsell等人^[18]重点讨论生物机制启发的正则化、模块化与生成重放方法。

(4)Parisi等人^[19]重点介绍了生物突触、互补学习系统、结构可塑性3种机制及其带来的启发。

这些文献对于学术界和工业界研究CL有一定引领和学习意义。重放与正则化等方法是研究CL的经典方法，而本文研究发现，斯坦福大学^[20,21]、麻省理工学院^[22]、加利福尼亚大学^[23,24]和牛津大学^[25]等科研院所在CL的研究上开始趋向借鉴类脑突触与睡眠等机制的脑启发方法。上述前沿方法已在CL领域取得重要进展，但学术界未曾发现相关研究综述，为丰富CL领域的最新研究进展，本文对突触、互补学习系统、模块化、睡眠4种脑启发方法进行详细分析和对比，尤其是调研挖掘尚未被广泛关注但具有较大研究前景的睡眠启发方法，并展望了其未来发展。同时，从类脑CL机制角度，介绍重放、正则化、稀疏3种CL方法所面临困境的解决方案，为学术界和工业界研究更接近类脑CL能力的脑启发方法提供参考。

2.   持续学习历史回顾

实现CL的最大挑战是灾难性遗忘，最早来源于Mccloskey等人^[26]在1989年提出的人工智能模型中，旧知识在顺序学习新知识过程会产生灾难性遗忘现象。此后，专家学者在克服灾难性遗忘实现CL的研究上逐渐兴起，其发展历程如图2所示，图2部分来源于文献[27]，红色箭头代表脑启发方法。

图  2  持续学习历史回顾

下载: 全尺寸图片 幻灯片

1994年Thrun^[28]针对机器人在自然办公环境下自主学习导航与标记目标，提出基于解释的ANN学习算法。2015年，Ellefsen等人^[29]受神经模块化思想启发，在ANN中增加神经连接开销实现模块化缓解灾难性遗忘。2016年文献[30]提出不遗忘学习(Learning without Forgetting, LwF)用正则化方法缓解灾难性遗忘。2017年，Kirkpatrick等人^[21]受类脑突触启发提出弹性权值巩固(Elastic Weight Consolidation, EWC)，Shin等人^[22]受海马体记忆重放启发，提出深度生成重放(Deep Generative Replay, DGR），保留旧知识的同时不用存储旧数据，推动重放方法更好发展。同年，Lomonaco等人^[31]提出针对CL的全新数据集与基准，文献[32]针对增量学习提出增量分类和表征学习算法(incremental Classifier and Representation Learning, iCaRL)。2018年，Parisi等人^[33]基于类脑海马体-新皮质层提出增长双记忆模型(Growing Dual-Memory, GDM)，通过双记忆结构实现CL，Farquhar等人^[34]指出CL评估方法的不足；Baweja等人^[35]将CL应用于医学影像。2019年，Van De Ven等人^[36]为比较不同CL方法性能，提出3个不同难度的CL场景以测试不同CL方法，Krishnan等人^[24]模仿睡眠机制，通过在ANN中实现睡眠程序达到CL目的。2020年，Van等人^[37]基于类脑启发提出新的生成重放方法(Generative Replay, GR)。Zenke等人^[20]丰富了CL在机器人领域的理论与应用。2021年，Jain等人^[38]将CL应用到3D目标识别中；Wen等人^[39]提出增益扰动网络(Beneficial Perturbation Network, BPN)，通过切换模式适应不同任务，减轻灾难性遗忘。

回顾CL发展历程发现，灾难性遗忘在1989年被提出，而直到2017年以后，CL的研究才开始逐渐增多，例如EWC等经典脑启发方法为后来的研究提供重要灵感。研究热点由开始偏向CL简单理论研究，逐渐出现CL方法评估和应用等方向。然而，目前CL技术还存在较多的困境，脑启发方法是解决现有CL困境的主要解决方案之一。本文将CL方法分为经典方法与脑启发方法，如图3所示。

图  3  两类持续学习方法

下载: 全尺寸图片 幻灯片

3.   经典方法

本节将经典CL研究方法分为重放、正则化、稀疏化3类，分别进行总结，并分析各自方法面临的困境，从类脑CL机制角度介绍各困境解决方案。

(1)重放方法。重放方法的主要思想是将旧任务数据进行重放，以恢复被遗忘知识，主要可分为两种，一种是保存已学任务数据，每次训练时结合新任务数据一起训练或者仅使用少部分旧任务数据进行重放^[40,41]以恢复知识，如Brahma等人^[42]通过选择训练数据的不同子集进行回放减轻灾难性遗忘，缺陷是空间复杂度高，相比之下，伪预演方法^[43-45]无须保存旧任务数据，通过生成相关旧任务数据进行重放以恢复知识。伪预演方法也称为生成重放方法，可分为两种：(a)不依赖生成数据质量，如文献[37]在重放低质量样本或每个小批次中只包括一个重放示例时也可获得较为理想结果。这种方法在使用高质量的回放示例时会获得更好性能，但需要模型在只有低质量示例的情况下恢复旧知识。(b)依靠生成器获得高质量示例以恢复旧知识，如文献[45]利用生成对抗网络生成比DGR方法质量更高的示例，这种方法对生成器要求较高，生成数据的质量会直接影响知识恢复程度。目前针对伪预演方法的研究集中在提高生成示例质量上。

调研发现，重放方法对于非独立同分布数据流的适应力较强，生成重放方法^[46]无须存储旧数据，与类脑中海马体的记忆重放机制相近，但面对的任务越复杂，生成可用于重放的数据也越困难。海马体与新皮质层组成的互补学习系统是类脑CL能力的重要组成之一，模仿互补学习系统设计的双记忆系统模型，其长期记忆系统作为知识库，短期记忆系统用以快速学习，使用生成重放方法为知识迁移手段，鲁棒性相较于重放方法更强。

(2)正则化方法。基于重要性加权的正则化方法^[47]空间复杂度相比重放方法更小，如Pomponi等人^[48]通过正则化方法代替网络内部嵌入，提出动态采样策略减少所需内存资源。这类方法的主要思想是识别旧任务中重要权重，并在学习新任务时根据各自重要性惩罚偏差，保护旧知识不被新知识覆盖。以LwF等方法为代表的经典正则化方法在CL研究中得到广泛应用。但这些方法有其局限性，Maltoni等人^[49]表明LwF对于类增量场景并不理想，进而提出体系结构和正则化策略相结合的方法，该方法空间复杂度较低，在类增量任务场景中表现更优。不同于类增量场景，Parshotam等人^[50]将CL应用于区分同一类别不同实例，同时针对缓解灾难性遗忘提出两种改进方法：一是通过归一化交叉熵对度量学习进行正则化；二是使用合成数据的迁移增强现有模型性能。在合成数据的研究中，Masarczyk等人^[51]通过创建合成数据抑制灾难性遗忘，能适应不同学习场景。

正则化方法通过施加约束保护重要参数，相比于重放方法，空间复杂度更低，但面临两方面挑战：(a)正则化强度调整。对某些任务权重的约束过高，影响后续学习，在学习过程中动态调整参数的约束程度有助于CL的进行。(b)正则化对象调整。由于无法预测未来任务数据，当数据流变化剧烈时，参数重要性也会发生改变，正则化方法在较为相似的数据流中表现出色而无法适应变化剧烈的长序列任务，这是目前正则化方法面临的最大难题。无法实时调整正则化对象会使模型在变化剧烈的类增量任务中逐渐丧失CL能力，重要参数的累积也会给内存带来压力，对后续学习造成影响。

正则化方法的重要灵感来源是类脑中突触的可塑性，不同之处在于，类脑不会在变化剧烈的环境中丧失CL能力，主要原因是类脑中突触被用以学习与存储记忆且不会互相影响，可有效防止新旧知识之间的干扰^[52]。同时，类脑突触复杂的生物机制使其在可塑性变化上更为灵活，进而增强类脑适应环境与清理存储空间的能力。受突触启发的CL方法以在线方式计算各突触重要性，相较于正则化方法，其对于类增量数据流适应力更强。

(3)稀疏化方法。稀疏化方法相比重放与正则化方法，空间复杂度较低，不会由于类增量数据流而丧失CL能力，实现方法分为两种，第1种是借鉴类脑中广泛存在的模块化，隔离参数以达到稀疏化，如Wang等人^[53]通过执行稀疏性避免任务间干扰，从旧知识中取样并在新任务上重用，缓解灾难性遗忘。第2种方法将知识分布在少数神经元，如Golkar等人^[54]使用激活的神经剪枝稀疏化方案，训练时只使用模型部分参数，接着利用模型未使用容量训练后续任务，确保新任务利用旧任务知识且不会造成灾难性遗忘。第2种方法通过分散参数分布，结合神经修剪算法，提高网络空间利用率，不足是增加了计算复杂度。

在固定结构ANN中，参数的稀疏分布会随着学习的进行渐渐失效，因此可通过网络结构的动态变化以实现稀疏化，这也称为结构可塑性，如Yoon等人^[55]提出动态扩展的CL架构，在学习时动态决定网络容量，只使用必要单元动态扩展网络适应新任务，从而实现参数稀疏化。这种方法相比其他稀疏化方法，具有更好的可伸缩性。为在长序列任务中实现CL，网络结构的动态扩展是必要的，不足是会增加内存开销。实现稀疏化的策略之一是借鉴类脑中广泛存在的模块化，如何最优且高效地实现模块化，需要对类脑模块化机制进行研究。

现有研究表明，针对经典CL方法可以得出以下结论：(1)重放方法对非独立同分布数据流适应力较强，但是空间复杂度较高；(2)正则化方法空间复杂度较低，但在变化剧烈的类增量数据流上表现较差；(3)稀疏化方法更适合短期学习。

4.   脑启发方法研究进展

本文调研脑启发式CL的相关文献，详细分析突触、双系统、睡眠、模块化4种脑启发方法，为研究脑启发式CL方法提供参考。

4.1   脑启发方法

(1)突触启发。突触可塑性的变化与记忆密切相关，是类脑适应环境最重要的机制之一^[56]，ANN与生物神经网络在突触复杂度上有着明显差异：ANN突触通常仅用一个数值量描述，而类脑突触是复杂动态系统，Benna等人^[57]通过研究突触复杂性，所构建的突触模型提高了网络记忆存储的容量与时长，同时通过保护旧记忆免受覆盖的同时记忆新知识。

类脑中的突触利用分子机制，使每个突触处于高维的状态空间，因此生物突触在时间与空间尺度具有很强的可塑性^[58,59]。这种可塑性是正则化方法的重要灵感来源，为学者实现CL带来启发，如Kirkpatrick等人^[21]基于突触整合的神经生物学模型提出EWC，通过选择性调节权重可塑性维持重要旧记忆的稳定，该方法具有优秀泛化性能。EWC中突触为指定任务计算最低损失的Fisher信息，这与Zenke等人^[20]提出的智能突触(Synaptic Intelligence, SI)有着明显不同，SI将生物突触复杂性映射到ANN设计中，利用智能突触记忆随时间推移的相关任务信息，以在线方式调整学习轨迹计算每个突触的正则化强度，该计算方式更接近类脑突触机制。与上述方法不同的是Aljundi等人^[60]提出记忆感知突触(Memory Aware Synapses, MAS)根据预测输出函数计算参数变化的敏感程度，为网络的每个参数累积重要性，防止重要知识被覆盖。

突触启发方法在短期CL中相当有效，但是也有学者对基于突触方法有着不同理解，比如Sukhov等人^[61]认为基于突触强度调节的微观方法虽然对灾难性遗忘有缓解作用，但由于已知突触会不断出现和消失，随着时间的推移，存储每个突触的重要性信息需要额外内存。长久来看，突触启发方法结合结构可塑性方法，动态扩展网络结构是必要的。

突触启发方法使用突触进行知识学习与存储，通过调节突触可塑性达到CL。早期学者借鉴可塑性思想，推动了CL的发展，但也存在不足，如EWC在类增量场景中表现较为糟糕，随着后续对突触的研究逐渐加深，突触启发的CL方法在增量场景中表现渐佳，如MAS，其在汽车^[62]等5个数据集上的实验中，只有0.49%的平均遗忘率。

(2)双系统启发。类脑的学习与记忆机制为CL研究提供优秀范例，McClelland等人^[63]提出互补学习系统(Complementary Learning Systems, CLS)理论，揭示海马体与新皮质对记忆功能的重要性，认为记忆首先是通过海马系统的突触变化进行存储，有利于新皮质中最近记忆的恢复，新皮质突触在每次恢复时都会发生变化，而长期记忆是基于新皮质累积的变化。Kumaran等人^[64]改进了CLS理论，指出CL需要两个互补的系统：一个位于新皮质层作为逐渐获取环境结构化知识的基础，而另一个以海马体为中心快速学习单个项目和经验的细节，同时强调CLS在开发自主代理方面有着广泛适用性。

CLS理论为学者研究缓解灾难性遗忘，实现CL提供重要参考，如Hattori^[65]提出双网络记忆模型，由两个不同的神经网络组成：海马网络和新皮质网络，海马网络作为教师网络，用以快速学习知识，随后将知识迁移到作为长期存储设备的新皮质网络，有效缓解灾难性遗忘。类脑记忆机制中，海马体表征的重放机制在记忆编码中起着至关重要的作用^[64]，受此启发，学者在双结构模型中加入重放程序，以提升模型克服灾难性遗忘的能力，如Parisi等人^[33]研究类脑中海马体对于记忆的重要作用，提出双记忆自组织架构，包括两个动态增长的循环网络以适应神经元和突触的增长，在实例层次(情景知识)和类别层次(语义知识)上执行连续对象识别，情景记忆以无监督方式学习细粒度的时空表示，而语义记忆使用任务相关的信号调节结构可塑性水平。情景记忆中内部生成的神经活动模式会周期性地重现记忆知识，减轻灾难性遗忘。

海马体的记忆重放通过重新激活最近获得的知识以逐渐融入新皮质层，缓解灾难性遗忘，模仿海马体记忆重放机制也是重要研究方向，如Shin等人^[22]受海马体作为类脑短期记忆系统的启发，提出由深度生成模型和任务求解模型组成的深度生成回放框架，通过在并发回放生成的伪数据中采样并与新任务信息结合以减轻灾难性遗忘。Van De Ven等人^[37]指出类脑保护记忆的重要机制是由网络自身与上下文调制反馈连接产生，在不存储数据的情况下，只重放低质量的样本也可以恢复知识。Mandivarapu等人^[66]提出的Self-Net框架，不断回忆和重建已学突触权重，使用自动编码器为不同任务学习的权值进行低维表示，这些低维向量产生对原始权值的高保真回忆，自动编码器顺序编码网络权值以实现CL。

双系统启发方法在ANN中的典型应用是双记忆网络模型，模仿海马体的短期记忆网络用以快速学习新知识，接着将知识整合到模仿新皮质层的长期记忆网络。此外，海马体兼具记忆重放功能，在巩固和整合知识上起重要作用，为重放方法提供重要参考。此类方法抗遗忘性能强，可以适应多情景下CL，但存在两方面挑战：(a)内存开销，即长期记忆网络随着学习进行，占用内存空间也逐渐增大；(b)计算开销，即CL模型通过重用旧知识提高学习效率，随着知识的积累，计算复杂度会逐渐增加。

(3)睡眠启发。研究表明睡眠和突触可塑性之间存在联系^[67]。类脑通过突触增强适应不断变化的环境^[68]。突触的持续增强意味着更多的能量消耗，占据更多空间，使类脑学习能力逐渐饱和。根据突触稳态假说^[69]，清醒状态下塑化过程导致类脑回路中突触强度增加，睡眠将突触强度降低到一个基线水平，提高学习和记忆能力，睡眠是人类CL能力的重要保障。

对类脑而言，睡眠对巩固记忆有重要作用，非快速眼动睡眠有助于增强、整合新编码的记忆^[70]。睡眠阶段本身并不影响记忆，反而会增强巩固记忆^[71]。受类脑睡眠机制启发，部分学者研究在ANN中实现睡眠程序的可能性，如Gonzalez等人^[23]的研究表明，睡眠能够直接激活编码在突触权重模式中的记忆痕迹，由此训练一个能够在类似睡眠状态和类似清醒状态之间转换的记忆网络，识别巩固新编码序列并防止损害旧记忆。Krishnan等人^[24]使用脉冲神经网络(Spiking Neural Network, SNN)修改突触权重模拟睡眠。研究发现新知识的到来影响了旧任务性能，但网络权重保留了部分旧任务信息，睡眠可以重新激活旧知识，以加强减少的连通性，通过在ANN与SNN之间切换模拟睡眠与清醒两种状态，可以有效缓解灾难性遗忘，提高模型对噪声图像的鲁棒性。除了在ANN中实现睡眠程序，类脑在睡眠过程中对记忆的处理也为学者研究缓解灾难性遗忘带来启发，如Kemker等人^[72]受类脑启发提出CL框架FearNet，借鉴多种类脑机制，包含3个受类脑启发的子系统：(a)用来快速回忆的记忆系统；(b)记忆长期知识的存储系统；(c)为特定例子分配内存的子系统。(a)和(b)是受双系统启发设计的双记忆系统，此外，受睡眠时记忆重放的启发，FearNet使用生成式自动编码器进行伪预演以实现CL。

除对记忆的影响，睡眠机制还在清理类脑存储空间上起重要作用。Hopfield模型^[73]描述ANN如何模仿类脑模式识别机制学习和检索信息，但是其存储容量非常低^[65]，针对此，Fachechi等人^[74]研究睡眠清理存储空间的机制，认为睡眠时的快速眼动睡眠消除不必要记忆，慢波睡眠整合重要记忆，通过模仿该过程改进Hopfield模型：ANN于在线期间学习和存储信息，当存储容量达到一定程度时，网络将被强制进入离线或休眠状态，用于清理内存空间与恢复增强记忆，剔除冗余信息，巩固重要记忆。

睡眠启发方法需在学习过程中加入睡眠程序，以恢复在清醒状态下被遗忘知识，清理多余参数以释放内存空间，可以考虑在清醒阶段使用ANN学习，在睡眠期间切换为SNN进行权重修改以恢复必要记忆。目前在ANN中对实现睡眠程序的研究较少，睡眠程序不仅可以缓解灾难性遗忘，调整突触强度，还可以对冗余参数进行清理，有助于充分利用内存空间。睡眠程序与其他脑启发方法结合，有助于改善目前CL存在的学习效果随时间进行而逐渐退化乃至失效的问题，具备巨大开发潜力。

(4)模块化启发。模块化是将任务信息隔离到特定的节点和连接组，促进学习在模块中进行而不互相干扰，缓解灾难性遗忘。生物神经网络所具有鲁棒性与进化性的重要原因是其功能的模块化^[75]，Flesch等人^[25]研究类脑认知机制，指出人类CL能力可能受益于阻塞训练，阻塞训练利于最优地隔离任务，阻止任务间干扰，促进两个正交决策边界的精确表示，说明模块化有助于缓解灾难性遗忘。通过研究生物网络中类脑模块化机制^[76,77]实现ANN模块化是解决灾难性遗忘的重要研究课题，Ellefsen等人^[29]研究生物神经网络中模块化缓解灾难性遗忘所起积极作用，在ANN中通过增加神经连接开销实现模块化，结果表明模块化网络在保留旧知识的同时可以更快地学习新任务。此外，通过模仿类脑中模块化实现方式是ANN实现CL捷径之一，Velez等人^[78]抽象在真实类脑中通过扩散化学信号进行体积传输的方式，设计基于扩散的神经调节算法，其模拟在类脑神经网络中扩散的神经调节化学物质释放，促进特定任务的局部学习和功能模块化，有助于缓解灾难性遗忘。

受模块化启发，ANN在特定情况下选择性对参数进行调节以实现模块化，该方法对缓解灾难性遗忘效果显著且知识重用率比突触与睡眠方法高，但存在下面两个方面的挑战：(a)所保留的记忆会随着时间对内存占用逐渐增大，这会增加模型空间复杂度，且在固定结构ANN中，这种方法会使模型逐渐丧失CL能力；(b)参数保留。无论模型结构扩展与否，保留的参数都会大大增加系统空间复杂度，这不利于模型在长序列任务流中的CL。长远来看，模块化方法结合结构可塑性方法是必要的。

本文总结了4种较为经典且具有较大研究前景的脑启发式CL方法，工作方式如图4所示，图4部分来源于文献[18]。图4(a)中突触启发方法通过调节突触可塑性保护重要突触，圆圈代表突触，颜色越深代表重要程度越高；图4(b)中双系统启发方法常被实现成双记忆系统，短期记忆网络用以快速学习，并将知识整合迁移到作为知识库的长期记忆网络中。图4(c)中模块化启发方法将重要参数进行隔离，避免知识之间相互干扰；图4(d)中睡眠启发方法将学习分为清醒与睡眠两个阶段，清醒阶段学习新知识，睡眠阶段清理多余参数同时通过重放等手段恢复旧记忆。

图  4  4种脑启发式CL方法的工作方式

下载: 全尺寸图片 幻灯片

4.2   脑启发方法分析与对比

针对脑启发方法可以得出以下结论：

(1)突触启发使用人工突触进行学习与记忆，各突触重要性以在线方式计算，不重要突触在学习过程中会逐渐消失，且无额外睡眠程序的加入，因此在4类脑启发方法中，突触启发资源开销最小，不足是对于变化剧烈的类增量数据流适应力差。

(2)双记忆系统通过长短期记忆系统的配合，使用生成重放作为知识迁移手段，缓解灾难性遗忘效果较好，其对于复杂类增量场景的适应力强于突触方法，内存开销小于模块化方法。

(3)睡眠启发方法通过借鉴类脑在睡眠时巩固记忆、清除内存空间等机制，将ANN分为清醒与睡眠两种状态，在清醒状态学习与记忆新知识，在睡眠状态重新激活被覆盖的重要神经元，清理多余内存，因此其在内存开销上小于双系统与模块化方法，不足是抗遗忘性能在4类脑启发方法中较差。

(4)模块化方法借鉴类脑神经调节机制，通过增加ANN神经连接开销实现模块化，缓解灾难性遗忘效果良好，且知识重用率高于睡眠与突触方法，不足是空间复杂度在4类脑启发方法中最大。

表1总结4类脑启发方法的优势与不足，各算法仿生具体机制、核心思想、数据集、对比算法以及实验结果，通过调研及结合表1分析，可以发现：

表  1  脑启发式CL方法对比与总结

方法	文献	年份	仿生具体机制	核心思想	数据集	对比对象	实验结果	优势	不足
突触	文献[20]	2017	突触内部动力学	智能突触	MNIST	EWC、随机梯度下降(Stochastic Gradient Descent, SGD)	平均分类准确率97.5%+, EWC 97.3%+, SGD 75.6%+	资源开销相较于 其他3类脑启发 方法较小	类增量场景中相较于 其他3类脑启发 方法表现较差
	文献[21]	2017	突触可塑性	选择性调整权重可塑性	MNIST	梯度下降(Gradient Descent, GD)	网络容量1000个突触内时，EWC优于GD
	文献[60]	2018	突触可塑性	以无监督和在线方式计算参数重要性	MIT Scenes, Caltech- Aircraft[79], SVHN[80]	LwF、文献[81]、文 献[82]、 EWC、SI	连续实验中，2任务平均遗忘率最低,多任务平均遗忘率为0.49%，平均准确率比SI高2%
海马体 新皮 质层	文献[65]	2014	CLS	双网络记忆模型	–	传统双网络记忆模型	召回结果：所提模型Goodness为0.942， 传统模型为0.718	对增量任务流适应力强于 突触方法，内存开销小于 模块化方法，知识重用率 高于突触与睡眠方法	资源开销高于突触 与睡眠方法
	文献[22]	2017	海马体记忆重放	深度生成重放	MNIST, SVHN	LwF	平均准确率：MNIST(Old)→SVHN(New): 95%+; SVHN (Old)→MNIST (New): 88%+
	文献[33]	2018	CLS	双记忆自组织架构	CORe50	VGG + FT	平均准确率:实例79.43%, 类别93.92%
	文献[66]	2020	海马体经验重放	使用自动编码器顺序编码网络权值集	MNIST	EWC	50个分离的MNIST数据集上平均准确率为95.7%, EWC为70%+
	文献[37]	2020	神经元活动模式	生成重放GR	MNIST	LwF, EWC, SI	类增量MNIST中, GR: 95%+, LwF, EWC, SI: 40%+
睡眠	文献[72]	2018	海马体-新皮质层、睡眠重放	生成重放	CIFAR-100	iCaRL	平均准确率，IFAR-100: rNet:75%+, iCaRL: 0%+	清理内存和调整突触 可塑性机制可与其他 脑启发方法结合	缓解灾难性遗忘效果 相较于其他3类 脑启发方法较差
	文献[24]	2019	睡眠巩固记忆	SNN与ANN切换	MNIST	全卷积网络(Full Convolutional Network, FCN)	平均准确率：FCN: 18%+, Sleep: 40%
	文献[74]	2019	睡眠与做梦机制	清醒与睡眠状态 切换	–	–	存储容量从α=0.14扩展到最大值α=1
模块化	文献[29]	2015	神经调节	模块化网络	–	–	神经模块化性能94%	缓解灾难性遗忘效果较 佳，知识重用率相较于 突触、睡眠方法较高	内存开销高于其他3类脑启发方法
	文献[78]	2017	神经调节	扩散的神经调节	–	–	验证文献[29]所提的局部与特定任务的学习可以形成功能模块，缓解灾难性遗忘
	文献[25]	2018	刺激分离	阻塞训练	2维叶*分枝空间的大型数据集	–	200个试验序列中，平均精度为90%+

下载: 导出CSV 

| 显示表格

(1)数据集上，手写数字数据集(Mixed National Institute of Standards and Technology database, MNIST)使用频次较多，为了验证算法在非独立同分布数据流中的CL能力，数据集会被分割开来，以顺序到达方式输入模型。

(2)对比算法上，EWC作为对比对象的频次较高，在类增量场景中相比于其他算法表现较差。

(3)除了睡眠方法，其他方法在MNIST数据集上的实验结果都超过了95%，而在CORe50等数据集上的实验结果都低于这个数值，说明在较为简单的数据集上更易于实现CL。

5.   经典方法和脑启发方法对比分析

本节对经典方法与脑启发方法进行总结分析。表2从6个方面分别对经典方法进行分析比较，其中，每个指标分为Ⅰ, Ⅱ, Ⅲ 3个等级，每个指标中从Ⅰ～Ⅲ代表该方法在该指标上的表现越好。鲁棒性指模型对非独立同分布数据流的适应力能力，泛化性指模型在各领域的适用性，如现实应用、与其他机器学习算法结合等。

表  2  CL方法总结对比

类型	方法	核心思想	抗遗忘	模型规模控制	内存开销	计算开销	鲁棒性	泛化性
经典方法	重放	重放相关数据以恢复记忆	Ⅲ	Ⅱ	Ⅰ	Ⅰ	Ⅱ	Ⅱ
	正则化	保护重要参数	Ⅰ	Ⅱ	Ⅱ	Ⅱ	Ⅰ	Ⅱ
	稀疏化	隔离参数	Ⅲ	Ⅰ	Ⅰ	Ⅰ	Ⅲ	Ⅲ
脑启发方法	双记忆系统	长短期记忆网络配合	Ⅲ	Ⅱ	Ⅰ	Ⅰ	Ⅲ	Ⅱ
	突触	在线方式计算突触重要性	Ⅱ	Ⅲ	Ⅱ	Ⅱ	Ⅲ	Ⅲ
	模块化	隔离参数	Ⅲ	Ⅱ	Ⅰ	Ⅰ	Ⅲ	Ⅲ
	睡眠	睡眠与清醒状态间切换	Ⅰ	Ⅲ	Ⅲ	Ⅲ	Ⅱ	Ⅰ

下载: 导出CSV 

| 显示表格

正则化方法通过对参数施加约束保护权重不被覆盖，空间复杂度低于其他两类经典方法，但是正则化方法在类增量数据流中表现不佳。相比之下，突触启发方法模仿生物突触机制，使用突触进行学习与记忆，以在线方式计算各突触重要性，而不常用的突触在学习过程中会逐渐消失，其鲁棒性强于正则化方法，但弱于其他3类脑启发方法。

重放方法在抗遗忘性能较好，常作为辅助手段应用在机器学习与现实应用中，但生成重放方法在面对复杂任务时，由于生成示例的难度增加，鲁棒性弱于双记忆系统，内存开销大于正则化方法，空间复杂度小于稀疏化方法，与双记忆系统相近。

稀疏化方法通过隔离参数间干扰以达到CL，类脑中的模块化机制是其重要实现手段。稀疏化方法在学习过程中需要保留参数，结构可塑性方法还需要扩展网络结构，因此空间复杂度较高，模型规模控制较差，优点是抗遗忘性能与鲁棒性优秀，其思想也较容易与其他算法结合，泛化性强。

睡眠方法通过睡眠与清醒状态的切换以实现CL，具备其他CL方法不具有的特点：在睡眠期间清理内存空间，调整突触强度，恢复旧权重。但是其抗遗忘性能较差，泛化性能有待提高。

6.   应用

在机器人、无人驾驶等领域，数据分布呈现随机性，这使得深度学习模型只能针对特定任务发挥作用。CL结合深度学习模型，使其在不断变化目标规范的持续适应过程中增量更新知识的同时减少灾难性遗忘，拓宽其现实应用场景，特别是数据由于内存约束、隐私、权限等原因无法重复读取时^[83]。除了现实应用，脑启发式CL可结合其他机器学习技术发挥重要作用，如EWC有效地与深度神经网络结合，有利于在强化学习场景中进行CL。

6.1   前沿应用

本节总结了脑启发式CL在自动驾驶、工业、强化学习、联邦学习与机器人中的应用情况。

在自动驾驶应用中，Kamrani等人^[84]针对无人驾驶，为解决模仿学习技术的灾难性遗忘、内存开销过大等问题，用CL(EWC与经验重放)改进模仿学习算法，减少内存开销和提高模型泛化性能。

在工业应用中，Maschler等人^[85]为解决工业自动化故障预测需要大量数据的问题，采用EWC技术进行协作，所开发的去中心化学习体系结构能够在较小且去中心化的数据集上进行学习，无须存储大量数据。为降低计算和模型复杂度，Kumar等人^[86]提出基于CL的毫米波多输入多输出系统信道估计方法，通过EWC的协作增加网络可塑性，其精度优于基于最小均方误差的信道估计方法。

在强化学习和联邦学习应用中，Atkinson等人^[87]研究类脑海马体的记忆重放机制，并与深度强化学习结合实现持续强化学习，无须重新访问或存储旧数据，提高其在复杂深度强化学习场景中的抗遗忘性能。Kumar等人^[88]针对联邦学习提出一种安全的分布式数据训练方法，引入EWC以缓解分布式训练中的灾难性遗忘问题，提升全局模型性能。

在机器人应用中，Chen^[89]模拟生物结构-功能关系，结合进化学习算法设计用于蛇形机器人控制的CL方法，使系统可以学习如何以自我学习方式搜索电机旋转角度。Xiong等人^[90]受认知神经科学启发，提出状态原始学习体系结构用于求解多步机器人任务。通过将原始状态空间投影到低维表示中，生成有意义的状态语句描述任务，以线性回归方法按顺序学习任务而不遗忘。Lee^[91]使用EWC改进会话机器人，可以在多领域积累知识。

6.2   应用总结

现实世界是个动态的世界，数据分布往往不会像实验室里那样被精心处理，脑启发式CL在许多应用场景上有巨大潜力。本文通过调研脑启发式CL应用情况，得出以下结论：

(1)脑启发式CL的应用主要解决由于数据不足或增量数据造成模型发生灾难性遗忘，或者重复训练造成空间复杂度过高。

(2)EWC由于其优秀的泛化性能，在应用中被广泛使用与研究，尤其在深度学习中，EWC可以直接以一个传统的深度学习架构作为基础，在学习过程中与其协同配合，以达到更好的性能。

(3)尽管双系统等方法缓解灾难性遗忘效果更好，实际应用中更倾向采用突触方法。这可能是由于突触方法实际部署难度更低、资源开销更小。

7.   挑战与展望

脑启发式CL更接近人类CL能力，为设计具有自主学习能力的智能代理提供技术支持，本节总结探讨脑启发式CL所面临挑战及未来发展方向。

7.1   挑战

现有技术条件下实现CL仍有较大难度，需要重点解决以下4个方面的挑战：

(1)灾难性遗忘。灾难性遗忘的存在使得模型只学习少量新知识就会完全丧失执行旧任务的能力^[92]。CL旨在保留和重用旧知识，以较少训练时间和资源学习新任务，但由于资源限制，ANN为学习新任务会覆盖旧知识，造成灾难性遗忘，在实现CL的道路上，灾难性遗忘是个艰巨的挑战。

(2)资源约束。解决灾难性遗忘的一个直接方案是每次学习新任务都重新训练整个模型，这会带来巨大资源开销，也不是理想方案。而现有CL技术需要大量额外资源来支持学习的进行，这限制了现有CL技术的长时间学习能力，减少资源消耗的同时不影响CL效果是个有挑战性的研究方向。

(3)旧任务性能逐渐下降。在内存与计算力有限的情况下，模型保持完全的记忆是困难的，现有CL模型在开始学习后会发生性能下降的情况^[93]。人类具有根据历史经验快速恢复记忆的能力，CL模型需要在少量经验情况下恢复旧任务性能。

(4)缺乏方法的协同配合。从突触可塑性到整个记忆与学习系统，类脑CL依靠复杂生物机制间协同配合实现，目前脑启发式CL主要借鉴类脑单一学习或记忆机制，各方法缺乏配合，造成方法之间互有优劣，而没有表现较为全面的CL方法。

7.2   展望

针对以上4方面挑战，结合本文调研的脑启发式CL研究现状，提出4个潜在的研究方向：

(1)提高知识重用性。知识单纯的保留而不重用会造成资源浪费，提高知识重用性利于提高学习效率与资源利用率，有利于CL模型以较少的资源实现持续时间学习。以双记忆系统与模块化方法为代表的脑启发方法，通过重用知识库存储的知识来缓解灾难性遗忘，但是在学习新知识时，知识的重用性还有待提高。人类在学习新知识时，通过回忆、联想等手段提高学习效率，在ANN中，可以考虑通过重放与迁移相关知识来提高学习效率。

(2)睡眠机制的多方面应用。神经元与突触是类脑CL学习的重要基础，睡眠和神经元可塑性之间存在着很强的联系，文献[94]指出清醒时的可塑性过程会导致突触强度的净增加，而睡眠是突触重归一化的必要条件，这说明睡眠对于调整突触强度，提高学习效率有着重要作用。此外，睡眠还有利于清理内存空间，但是目前在ANN中实现睡眠程序的研究相对较少且单一，睡眠的多种CL机制有助于缓解目前CL方法存在的资源开销过大、学习效率随时间下降等问题，具有深入研究的价值。

(3)多策略融合。类脑CL能力与其多种机制的协同配合息息相关，多种策略融合可以让ANN持续学习能力在多方面得到提升，例如重放方法的融入提升抗遗忘能力，睡眠程序的加入有利于多余参数的清理，突触方法的应用节约资源开销，多策略融合会让ANN在CL能力上更接近人类。就像类脑CL能力是多种机制互相协作的产物，实现人工智能代理CL，需要融合多种脑启发方法优点。

(4)复杂场景应用。动态的现实世界对深度视觉模型提出更高要求，研究复杂场景下模型的CL方法，构建新旧任务特征关联记忆与学习方法是个极具潜力的方向。例如，部署CL算法的服务机器人无须预先训练技能，从扫地开始学习，接着是洗衣服等一系列任务，服务机器人掌握技能随时间的推移越来越多，无须针对每个技能进行特定训练。

(5)前沿人工智能技术应用。脑启发式CL的许多特性可以结合前沿人工智能技术，除了缓解灾难性遗忘，还可以优化各项性能：提升强化学习的环境适应力；通过新旧任务特征的关联记忆，提高样本量不足情况下的小样本学习效果；提炼旧知识优化迁移学习的知识迁移效果。

8.   结论

表3给出了文中出现的专有名词及其简称。

表  3  本文出现的中英文对照表

中文	英文	简称
持续学习	Continuous Learning	CL
人工神经网络	Artificial Neural Network	ANN
不遗忘学习	Learning without Forgetting	LwF
弹性权值巩固	Elastic Weight Consolidation	EWC
深度生成重放	Deep Generative Replay	DGR
增长双记忆模型	Growing Dual-Memory	GDM
生成重放	Generative Replay	GR
增益扰动网络	Beneficial Perturbation Network	BPN
智能突触	Synaptic Intelligence	SI
记忆感知突触	Memory Aware Synapses	MAS
互补学习系统	Complementary Learning Systems	CLS
脉冲神经网络	Spiking Neural Network	SNN
随机梯度下降	Stochastic Gradient Descent	SGD
梯度下降	Gradient Descent	GD
全卷积网络	Full Convolutional Network	FCN
手写数字数据集	Mixed National Institute of Standards and Technology database	MNIST

下载: 导出CSV 

| 显示表格

脑启发式CL技术可以为现有CL技术困境提供解决思路，为人工智能迈向类人智能打下重要基础，本文研究发现：突触方法为解决正则化方法在类增量场景适应力不强的问题提供思路；双记忆系统方法为解决重放方法资源开销过大和重放困难等问题提供思路；通过借鉴类脑神经调节而实现的模块化为稀疏化提供实现手段。最后，指出了实现脑启发CL需要解决的灾难性遗忘等4方面挑战。