使用即时调整的转向原型进行无需排练的持续学习

原型作为类别嵌入的表示形式,已被用于减少内存占用或缓解连续学习中的遗忘问题。然而,基于原型的方法仍然遭受由于语义漂移和原型干扰而导致的性能急剧下降的困扰。在本研究中,我们提出了对比原型提示(Contrastive Prototypical Prompt,CPP)并且说明特定任务的提示调整,当优化对比学习目标时,能够有效地解决这两个障碍并显著提高原型的效能。我们的实验表明,CPP优异地表现了四个具有挑战性的增量类别学习基准,相对于现有最先进的方法,结果提高了4%至6%绝对值。此外,CPP不需要排练缓冲区,并且在很大程度上弥合了连续学习和离线联合学习之间的性能差距,展示了在Transformer架构下进行连续学习系统的有前途的设计方案。

论文链接:http://arxiv.org/pdf/2303.09447v1

更多计算机论文:http://cspaper.cn/

Related posts