Qu'est-ce que la métrique ROUGE ? Pour de nombreuses tâches de NLP, nous pouvons utiliser des métriques courantes telles que la précision ou le score F1,
mais que faites-vous lorsque vous souhaitez mesurer la qualité d'un résumé à partir d'un modèle comme T5 ?
Dans cette vidéo, nous allons examiner une métrique largement utilisée pour la synthèse de texte appelée ROUGE.
Il existe en fait plusieurs
variantes de ROUGE mais l'idée de base derrière chacune d'elles est d'attribuer un seul
score numérique à un résumé qui nous indique à quel point il est bon par rapport à un ou plusieurs résumés de référence.
Dans cet exemple, nous avons une critique de livre qui a été résumée par un modèle.
Si nous comparons le résumé généré à certains résumés humains de référence,
nous pouvons voir que le modèle est plutôt bon et ne diffère que d'un mot ou deux.
Alors, comment mesurer automatiquement la qualité d'un résumé généré ?
L'approche adoptée par ROUGE consiste à comparer les n-grammes du résumé généré aux
n-grammes des références. Un n-gramme n'est qu'une façon élégante de dire « un morceau de n mots ».
Donc commençons par les unigrammes, qui correspondent aux mots individuels d'une phrase.
Dans cet exemple, vous pouvez voir que six des mots du résumé généré se retrouvent également dans l'un des
résumés de référence. La métrique ROUGE qui compare les unigrammes est appelée ROUGE-1.
Maintenant que nous avons trouvé nos correspondances, une façon d'attribuer un score au résumé consiste à calculer le
rappel des unigrammes. Cela signifie que nous comptons simplement le nombre de mots correspondants dans les résumés générés et de
référence et normalisons le nombre en divisant par le nombre de mots dans la référence.
Dans cet exemple, nous avons trouvé 6 mots correspondants et notre référence a 6 mots,
donc notre rappel d'unigramme est parfait ! Cela signifie que tous les mots du
résumé de référence ont été produits dans celui généré. Un rappel parfait sonne bien mais imaginez si
notre résumé généré avait été « J'ai vraiment vraiment vraiment adoré lire Hunger Games ».
Cela aurait également un rappel parfait mais c'est sans doute un pire résumé car il est verbeux.
Pour gérer ces scénarios, nous pouvons également calculer la précision, qui dans le contexte ROUGE mesure
la proportion du résumé généré qui était pertinente. Dans cet exemple, la précision est de 6/7. En pratique,
la précision et le rappel sont généralement calculés, puis le score F1 est rapporté.
Nous pouvons modifier la granularité de la comparaison en comparant des bigrammes au lieu d'unigrammes.
Avec les bigrammes, nous décomposons la phrase en paires de mots consécutifs puis comptons le nombre de paires dans
le résumé généré qui sont présentes dans celui de référence. Cela nous donne une précision et un rappel ROUGE-2,
dont nous pouvons constater qu'ils sont inférieurs aux scores ROUGE-1 que nous avons vus précédemment. Notez que si les résumés sont
longs, le score ROUGE-2 sera faible car il y a généralement moins de bigrammes à faire correspondre. Cela est
également vrai pour la synthèse abstraite, donc les scores ROUGE-1 et ROUGE-2 sont généralement rapportés.
La dernière variante ROUGE dont nous parlerons est ROUGE-L. ROUGE-L ne compare pas les n-grammes,
mais traite plutôt chaque résumé comme une séquence de mots, puis recherche la plus longue sous-séquence
commune ou « LCS ». Une sous-séquence est une séquence qui apparaît dans le même ordre relatif,
mais pas nécessairement contiguë. Ainsi, dans cet exemple, « J'ai adoré lire Hunger Games » est la sous-
séquence commune la plus longue. Le principal avantage de ROUGE-L par rapport à ROUGE-1 ou ROUGE-2 est qu'il ne
dépend pas de correspondances consécutives de n-grammes, il a donc tendance à capturer la structure de la phrase avec plus de précision.
Calculer les scores ROUGE dans Datasets d'Hugging Face est très simple : utilisez simplement la fonction `load_metric()`,
fournissez les résumés de votre modèle avec les références et vous êtes prêt !
Le résultat du calcul contient de nombreuses informations ! La première chose que nous
pouvons voir ici est que les intervalles de confiance de chaque score ROUGE sont fournis dans les champs `low`,
`mid` et `high`. Ceci est très utile si vous voulez connaître la répartition de vos scores ROUGE lorsque vous
comparez deux modèles ou plus. La deuxième chose à remarquer est que nous avons quatre types de score ROUGE.
Nous avons déjà vu ROUGE-1, ROUGE-2 et ROUGE-L, alors qu'est-ce que ROUGE-LSUM ? Eh bien,
la somme dans ROUGE-LSUM fait référence au fait que cette métrique est calculée sur l'ensemble d'un résumé,
tandis que ROUGE-L est calculée comme la moyenne sur des phrases individuelles.