Nous ne mettons plus à jour le service Amazon Machine Learning et n'acceptons plus de nouveaux utilisateurs pour celui-ci. Cette documentation est disponible pour les utilisateurs existants, mais nous ne la mettons plus à jour. Pour plus d'informations, consultez Qu'est-ce qu'Amazon Machine Learning ?

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Analyse du modèle multiclasse

Interprétation des prédictions

La sortie réelle d'un algorithme de classification multiclasse est un ensemble de scores de prédiction. Les scores indiquent la certitude du modèle que l'observation donnée appartient à chacune des classes. Contrairement aux problèmes de classification binaire, vous n'avez pas besoin de choisir un score seuil pour effectuer des prédictions. La réponse prédite est la classe (par exemple, une étiquette) avec le score prédit le plus élevé.

Mesure de la précision du modèle d'apprentissage-machine

Les métriques standard utilisées en mode multiclasse sont les mêmes que celles utilisées dans le cas d'une classification binaire après avoir calculé leur moyenne sur l'ensemble des classes. Dans Amazon ML, le score F1 macromoyen est utilisé pour évaluer la précision prédictive d'une métrique multiclasse.

Score F1 moyenné par macro

Le score F1 est une métrique de classification binaire qui prend en compte à la fois la sensibilité et le taux de positifs prédits des métriques binaires. Il s'agit de la moyenne harmonique entre la sensibilité et le taux de positifs prédits. La plage est comprise entre 0 et 1. Plus la valeur est grande et meilleure est la précision prédictive :

Le score F1 moyenné par macro correspond à la moyenne non pondérée du score F1 sur l'ensemble des classes du cas multiclasse. Il ne prend pas en compte la fréquence d'apparition des classes dans le jeu de données d'évaluation. Plus la valeur est grande et meilleure est la précision prédictive. L'exemple suivant montre K classes dans la source de données d'évaluation :

Score F1 moyenné par macro de référence

Amazon ML fournit une métrique de référence pour les modèles multiclasses. Il s'agit du score F1 moyenné par macro pour un modèle multiclasse hypothétique qui prédirait toujours la classe la plus fréquente comme réponse. Par exemple, dans le cadre de la prédiction du genre d'un film, si le genre le plus courant figurant dans vos données de formation était Film romantique, alors le modèle de référence prédirait toujours le genre comme Film romantique. Vous pouvez comparer votre modèle d'apprentissage-machine à cette référence afin de valider si votre modèle d'apprentissage-machine est meilleur qu'un modèle d'apprentissage-machine qui prédit cette réponse invariable.

Utilisation de la visualisation des performances

Amazon ML fournit une matrice de confusion afin de visualiser la précision des modèles prédictifs de classification multiclasses. La matrice de confusion illustre dans une table le nombre ou le pourcentage de prédictions correctes et incorrectes pour chaque classe en comparant la classe prédite d'une observation à sa véritable classe.

Par exemple, si vous essayez de classer un film par genre, le modèle prédictif peut prédire que son genre (sa classe) est Film romantique. Toutefois, son véritable genre pourrait en fait être Thriller. Lorsque vous évaluez la précision d'un modèle ML de classification multiclasse, Amazon ML identifie ces erreurs de classification et affiche les résultats dans la matrice de confusion, comme indiqué dans l'illustration suivante.

Les informations suivantes sont affichées dans une matrice de confusion :

La console Amazon ML fournit un affichage visuel qui prend en charge jusqu'à 10 classes dans la matrice de confusion, répertoriées par ordre de classe la plus fréquente à la moins fréquente dans les données d'évaluation. Si vos données d'évaluation comportent plus de 10 classes, les 9 classes les plus fréquentes apparaîtront dans la matrice de confusion, et toutes les autres classes seront regroupées dans une classe appelée « autres ». Amazon ML permet également de télécharger la matrice de confusion complète via un lien sur la page des visualisations multiclasses.