Bienvenue dans la série d'Hugging Face sur les tâches !
Dans cette vidéo, nous allons jeter un œil à la modélisation du langage masqué.
La modélisation du langage masqué consiste à prédire quels mots doivent remplir les blancs d'une
phrase.
Ces modèles prennent un texte masqué en entrée et génèrent les valeurs possibles pour ce masque.
La modélisation en langage masqué est pratique avant de finetuner votre modèle pour votre tâche.
Par exemple, si vous devez utiliser un modèle dans un domaine spécifique, par exemple des documents biomédicaux, des
modèles comme BERT traiteront vos mots spécifiques à un domaine comme des tokens rares.
Si vous entraînez un modèle de langage masqué à l'aide de votre corpus biomédical, puis finetunez
votre modèle sur une tâche en aval, vous obtiendrez de meilleures performances.
Les métriques de classification ne peuvent pas être utilisées car il n'y a pas de réponse correcte unique aux
valeurs du masque.
Au lieu de cela, nous évaluons la distribution des valeurs du masque.
Une métrique courante pour ce faire est la perte d'entropie croisée.
La perplexité est aussi une métrique largement utilisée et elle est calculée comme l'exponentielle de la
perte d'entropie croisée.
Vous pouvez utiliser n'importe quel jeu de données avec du texte brut et tokeniser le texte pour masquer les données.
Pour plus d'informations sur la modélisation du langage masqué, consultez le cours d'Hugging Face.