近日，一篇 DeepMind 在今年一月发布的名为「持续学习的功能正规化」（「Functional Regularisation for Continual Learning」）的论文再度引发机器学习社群热议。以下为论文概要：我们引入了一个基于贝叶斯推理函数空间的连续学习框架，而不是深度神经网络的参数。该方法被称为用于连续学习的函数正则化，通过构造和记忆对基础任务特定函数的近似后验信念，避免遗忘先前任务。为了实现这一目标，我们依赖于通过将神经网络的最后一层的权重视为随机和高斯分布而获得的高斯过程。随后，训练算法通过使用诱导点稀疏高斯处理方法顺序地遇到任务并构建关于任务特定函数的后验信念。在每个步骤中，首先学习新任务，然后构建摘要，其包括（i）引入输入和（ii）在这些输入的函数值上的后验分布。然后，该摘要通过 Kullback-Leibler 正则化术语规范学习未来任务，从而避免灾难性遗忘早期任务。我们在分类数据集中演示了我们的算法，例如 Split-MNIST，Permuted-MNIST 和 Omniglot。(ArXiv)