Richard S Sutton / Fernando Hernandez Garcia发布Fernando Hernandez Garcia的博士论文(16)

我的第16位博士生Fernando Hernandez Garcia的博士论文现已上线。

论文标题：用于防止人工神经网络可塑性丧失的选择性重初始化算法

摘要：在本论文中，我研究基于人工神经网络的系统，这类系统从非平稳数据中学习。从非平稳数据学习要求系统持续适配，这个过程通常被称为持续学习。开发能实现持续学习的系统是人工智能领域的长期目标。在深度学习（即设计和训练深度神经网络的领域）中，这个目标仍未实现。

本论文解决了持续学习中的一个根本性挑战：可塑性丧失，这是一种人工神经网络系统逐步丧失从新数据学习能力的现象。尽管在过去三十年间，这一现象已经被多次提及，但直到最近它仍未得到充分研究。本论文中的工作是对可塑性丧失的首次系统性论证，强调了它的持续性和重要性。

在这项工作中，我对多种深度学习系统中的可塑性丧失进行了系统性论证。在基于全连接网络、卷积网络、残差网络和视觉Transformer的各类系统中，可塑性都会在持续学习过程中退化。值得注意的是，即使是使用了归一化技术、残差连接和正则化（这些设计选择能提升训练稳定性）的系统，依然会受到可塑性丧失的影响。这些证据证明，可塑性丧失是普遍存在的，通过反向传播训练的深度学习系统并不适合持续学习。

我探索了用选择性重初始化来防止可塑性丧失的思路。这个思路过去曾被用来提升深度学习系统的泛化性能。然而，将它用于防止可塑性丧失是持续反向传播算法开创的一项新创新。该算法会定期为网络中的单元设置新值，让初始化成为一个持续过程而非一次性操作。我论证了持续反向传播在多种场景下防止可塑性丧失的有效性。这些论证证明，尽管可塑性丧失普遍存在，但它并不是深度学习系统固有的。

我通过一种名为选择性单元重初始化的算法对持续反向传播进行了泛化。这个通用算法有三个关键组成部分：根据重要性对单元排序的效用度量、选择要重初始化哪些单元的剪枝准则，以及为选中的单元赋值的重初始化方法。持续反向传播包含了对效用度量、剪枝准则和重初始化方法的特定选择。不过，这个通用算法并不局限于持续反向传播中使用的这些选择。