Une Analyse du Modèle ColBERT

Thibault Formal
Benjamin Piwowarski
Stéphane Clinchant
DOI
10.24348/coria.2021.mini_21
Résumé

Les modèles de RI basés sur les Transformers sont aujourd’hui état de l’art en Recherche d’Information ad-hoc, mais leur comportement reste encore incompris. Des travaux récents ont montré que BERT ne satisfait pas les axiomes classiques de la RI. Nous proposons d’étudier le processus d’appariement par l’analyse de l’importance des termes et des mécanismes d’appariement exact et sémantique. Même si les axiomes classiques ne sont pas formellement vérifiés, notre analyse révèle que des modèles comme ColBERT: (i) sont capables d’inclure une notion d’importance du terme ; (ii) s’appuient sur des correspondances exactes pour les termes importants.