Bienvenue dans la série d'Hugging Face sur les tâches !
Dans cette vidéo, nous allons jeter un œil à la modélisation du langage causal.
La modélisation du langage causal consiste à prédire le
mot suivant dans une phrase, compte tenu de tous les mots précédents. Cette tâche est très
similaire à la fonction de correction automatique que vous pourriez avoir sur votre téléphone.
Ces modèles prennent une séquence à compléter et génèrent la séquence complète.
Les métriques de classification ne peuvent pas être utilisées, car il n'y a pas de réponse correcte unique pour la complétion.
Au lieu de cela, nous évaluons la distribution du texte complété par le modèle.
Une métrique courante pour ce faire est la perte d'entropie croisée. La perplexité est
aussi une métrique largement utilisée et elle est calculée comme l'exponentielle de la perte d'entropie croisée.
Vous pouvez utiliser n'importe quel jeu de données avec du texte brut et tokeniser le texte pour préparer les données.
Les modèles de langage causal peuvent être utilisés pour générer du code.
Pour plus d'informations sur la tâche de modélisation du langage causal, consultez le cours d'Hugging Face.