DOI

10.24348/coria.2024.abstract_21

Même si les grands modèles de langue (LLM) sont capables d’accumuler et de restaurer des connaissances, ils restent sujets aux hallucinations. Surtout face à des questions factuelles, les llm ne peuvent pas s’appuyer uniquement sur les connaissances stockées dans des paramètres pour garantir des réponses véridiques et correctes. Augmenter ces modèles avec la capacité de rechercher des sources d’informations externes, telles que le Web, constitue une approche prometteuse pour augmenter la factualité des réponses. Cependant, la recherche dans une vaste collection de documents entraîne des coûts de calcul et de temps supplémentaires, ainsi que le traitement des documents retrouvés. Un comportement optimal serait d’interroger des ressources externes uniquement lorsque le llm n’est pas sûr des réponses. Dans cet article, nous investiguons une méthode pour permettre aux GML d’auto-estimer s’ils sont capables de répondre directement ou s’il a besoin de solliciter une base de données externe. Nous étudions une approche supervisée en introduisant un mécanisme de masquage des hallucinations dans lequel des étiquettes sont générées à l’aide d’une tâche de question/réponse. De plus, nous proposons d’exploiter des techniques d’adaptation efficaces pour entraîner notre modèle sur une petite quantité de données. Notre modèle fournit directement des réponses pour $78.2%$ des requêtes connues et choisit de rechercher $77.2%$ des requêtes inconnues. Cela a pour conséquence que l’API n’est utilisée que $62%$ du temps.