目 录CONTENT
以下是
终身学习
相关的文章
-
-
【终身学习-论文解读】递归梯度优化的持续学习 在不忘记先前知识的情况下按顺序学习多个任务，称为持续学习 (Continual Learning, CL)，仍然是神经网络长期面临的挑战。大多数现有方法依赖于额外的网络容量或数据重放。相比之下，我们引入了一种称为递归梯度优化 (Recursive Gradient Optimization, RGO) 的新方法。 RGO 由一个迭代更新的优化器和一个虚拟特征编码层 (Feature Encoding Layer, FEL) 组成，该优化器修改梯度以在没有数据重放的情况下最大限度地减少遗忘，以及一个仅使用任务描述符表示不同网络结构的虚拟特征编码层 (FEL)。实验表明，与基线相比，RGO 在流行的连续分类基准上具有明显更好的性能，并在 20-split-CIFAR100 (82.22%) 和 20-split-miniImageNet (72.63%) 上实现了新的最先进的性能。该方法具有比单任务学习 (Single-Task Learning, STL) 更高的平均准确率，灵活可靠，可为依赖梯度下降的学习模型提供持续学习能力。
-
【终身学习-论文解读】GopGAN: 具有持续学习的梯度正交投影生成对抗网络 持续学习中的生成对抗网络 (GAN) 遭受着灾难性遗忘的困扰。在持续学习中，GAN 往往会忘记前一代的任务，只记住他们刚刚学习的任务。在此文中，作者提出了一种新的条件 GAN (Conditional GAN)，称为梯度正交投影 GAN (GopGAN)，它更新了训练示例表示所跨越的空间的正交子空间中的权重，作者还从数学上证明了它保留关于学习任务的旧知识在学习新任务时。此外，数学上推导了调制梯度的正交投影矩阵，并给出了其用于持续学习的迭代计算算法，使得在学习新任务时无需存储学习任务的训练样例。此外，提出了一种任务相关的潜在向量构造，并将构造的条件潜在向量用作 GopGAN 中生成器的输入，以避免学习任务的正交子空间的消失。在 MNIST、EMNIST、SVHN、CIFAR10 和 ImageNet-200 生成任务上的大量实验表明，所提出的 GopGAN 可以有效地应对灾难性遗忘问题并稳定地保留所学知识。