Oubli catastrophique et approches neuronales pour la Recherche d'Information

Jesús Lovón-Melgarejo
Laure Soulier
Karen Pinel-Sauvagnat
Lynda Tamine
DOI
10.24348/coria.2021.mini_14
Résumé

Dans cet article, nous étudions dans quelle mesure les approches neuronales pour la recherche d’information souffrent du problème bien identifié de l’oubli catastrophique: toute redéfinition significative de l’objectif d’apprentissage (dans notre cas un corpus très différent) provoque une grande dégradation des connaissances préalablement acquises sur le corpus d’origine. De premières expérimentations sur quatre corpus montrent que les cinq approches neuronales que nous avons évaluées souffrent de cet oubli, et qu’une stratégie d’apprentissage tout au long de la vie peut atténuer le problème. Nous avons également cherché à identifier, en utilisant une approche exploratoire basée sur un modèle de régression, les caractéristiques des corpus qui pourraient servir d’indices d’un futur oubli catastrophique. Note: Cet article est une traduction résumée de l’article “Studying Catastrophic Forgetting in Neural Ranking Models” publié à ECIR 2021.