Bienvenue dans la série d'Hugging Face sur les tâches !
Dans cette vidéo, nous allons jeter un œil à la tâche de traduction.
La traduction est la tâche de traduire un texte d'une langue à une autre.
Ces modèles prennent un texte dans la langue source et génèrent la traduction de ce texte dans
la langue cible.
La tâche est évaluée sur le score BLEU.
Le score varie de 0 à 1, où 1 signifie que la traduction correspond parfaitement et 0 ne
correspond pas du tout.
BLEU est calculé sur les tokens successifs appelés n-grammes.
« unigram » fait référence à un seul token tandis que bi-gramme fait référence à des paires de tokens et n-grammes fait référence à
n tokens successifs.
Les jeux de données de traduction automatique contiennent des paires de texte dans une langue et la traduction du
texte dans une autre langue.
Ces modèles peuvent vous aider à créer des agents conversationnels dans différentes langues.
Une option consiste à traduire les données d'entraînement utilisées pour le chatbot et à entraîner un
chatbot séparé.
Vous pouvez mettre un modèle de traduction de la langue de votre utilisateur vers la langue dans laquelle votre chatbot
est entraîné, traduire les entrées de l'utilisateur et effectuer une classification d'intention, prendre la sortie
du chatbot et la traduire de la langue dans laquelle votre chatbot a été entraîné vers la
langue de l'utilisateur.
Pour plus d'informations sur la tâche de traduction, consultez le cours d'Hugging Face.