Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Analyse et visualisation
Amazon SageMaker Data Wrangler inclut des analyses intégrées qui vous aident à générer des visualisations et des analyses de données en quelques clics. Vous pouvez également créer des analyses personnalisées à l'aide de votre propre code.
Vous ajoutez une analyse à un dataframe en sélectionnant une étape dans votre flux de données, puis en cliquant sur Add analysis (Ajouter une analyse). Pour accéder à une analyse que vous avez créée, sélectionnez l'étape qui contient l'analyse et sélectionnez l'analyse.
Toutes les analyses sont générées à l'aide de 100 000 lignes de votre jeu de données.
Vous pouvez ajouter les analyses suivantes à un dataframe :
-
Visualisations de données, y compris les histogrammes et les nuages de points.
-
Un résumé rapide de votre jeu de données, incluant le nombre d'entrées, les valeurs minimales et maximales (pour les données numériques) et les catégories les plus et les moins fréquentes (pour les données catégorielles).
-
Un modèle rapide du jeu de données, qui peut être utilisé pour générer un score d'importance pour chaque caractéristique.
-
Un rapport de fuite cible, que vous pouvez utiliser pour déterminer si une ou plusieurs caractéristiques sont fortement corrélées avec votre caractéristique cible.
-
Une visualisation personnalisée utilisant votre propre code.
Utilisez les sections suivantes pour en savoir plus sur ces options.
Histogramme
Utilisez des histogrammes pour afficher le nombre de valeurs d'entités pour une entité spécifique. Vous pouvez inspecter les relations entre les entités à l'aide de l'option Color by (Couleur par). Par exemple, l'histogramme suivant illustre la répartition des évaluations des utilisateurs des livres les plus vendus sur Amazon entre 2009 et 2019, colorés par genre.
![Exemple d'histogramme dans la console Data Wrangler.](images/studio/mohave/histogram.png)
Vous pouvez utiliser la fonction Facet by (Facetter par) pour créer des histogrammes d'une colonne, pour chaque valeur d'une autre colonne. Par exemple, le diagramme suivant montre les histogrammes des avis des utilisateurs sur les livres les plus vendus sur Amazon si facettés par année.
![Exemples d'histogrammes dans la console Data Wrangler.](images/studio/mohave/review_by_year.png)
Nuage de points
Utilisez la fonction Scatter Plot (Nuage de points) pour inspecter la relation entre les caractéristiques. Pour créer un nuage de points, sélectionnez une caractéristique à représenter sur l'axe des X et l'axe des Y. Ces deux colonnes doivent être des colonnes à caractères numériques.
Vous pouvez colorer les nuages de points par une colonne supplémentaire. Ainsi, l'exemple suivant présente un diagramme de dispersion comparant le nombre d'avis aux évaluations des utilisateurs pour les livres les plus vendus sur Amazon entre 2009 et 2019. Le nuage de points est coloré par genre de livre.
![Exemple de diagramme de dispersion dans la console Data Wrangler.](images/studio/mohave/scatter-plot.png)
En outre, vous pouvez facetter des nuages de points par caractéristiques. Ainsi, l'image suivante illustre le même nuage de points d'évaluation par rapport à l'évaluation utilisateur, à facettes par année.
![Exemple de diagramme de dispersion à facettes dans la console Data Wrangler.](images/studio/mohave/scatter-plot-facet.png)
Résumé de la table
Utilisez l'analyse Table Summary (Résumé de la table) pour résumer rapidement vos données.
Pour les colonnes avec des données numériques, y compris les données logarithmiques et flottantes, un résumé de tableau indique le nombre d'entrées (nombre), le minimum (min), le maximum (max), la moyenne et l'écart-type (stddev) pour chaque colonne.
Pour les colonnes avec des données non numériques, y compris les colonnes avec des données de type chaîne, booléen ou date/heure, un résumé de table indique le nombre d'entrées (nombre), la valeur la moins fréquente (min) et la valeur la plus fréquente (max).
Modèle rapide
Utilisez la visualisation Quick Model (Modèle rapide) pour évaluer rapidement vos données et produire des scores d'importance pour chaque caractéristique. Un feature importance score (score d'importance d'une caractéristique)
Lorsque vous créez un graphique modèle rapide, vous sélectionnez un jeu de données que vous souhaitez évaluer et une étiquette cible par rapport à laquelle vous souhaitez comparer l'importance de la caractéristique. Data Wrangler exécute les opérations suivantes :
-
Détermine les types de données de l'étiquette cible et de chaque caractéristique du jeu de données sélectionné.
-
Détermine le type de problème. En fonction du nombre de valeurs distinctes dans la colonne d'étiquette, Data Wrangler détermine s'il s'agit d'un type de problème de régression ou de classification. Data Wrangler définit un seuil de catégorie à 100. S'il y a plus de 100 valeurs distinctes dans la colonne d'étiquette, Data Wrangler la classe comme un problème de régression ; sinon, elle est classée comme un problème de classification.
-
Fonctions de pré-traitement et données d'étiquetage pour l'entraînement. L'algorithme utilisé nécessite l'encodage des caractéristiques en type vectoriel et l'encodage des étiquettes en type double.
-
Entraîne un algorithme de forêt aléatoire avec 70 % des données. Spark RandomForestRegressor
est utilisé pour entraîner un modèle pour les problèmes de régression. RandomForestClassifier Il est utilisé pour entraîner un modèle pour les problèmes de classification. -
Évalue un modèle de forêt aléatoire avec les 30 % de données restantes. Data Wrangler évalue les modèles de classification à l'aide d'un score F1 et évalue les modèles de régression à l'aide d'un score. MSE
-
Calcule l'importance de chacune des fonctions à l'aide de la méthode d'importance Gini.
L'image suivante illustre l'interface utilisateur de la fonction de modèle rapide.
![Exemple d'interface utilisateur de la fonction de modèle rapide dans la console Data Wrangler.](images/studio/mohave/quick-model.png)
Target Leakage (Fuite de cible)
Une fuite de cible se produit lorsqu'il existe des données dans un jeu de données de machine learning fortement corrélées avec l'étiquette cible, mais qui ne sont pas disponibles dans les données du monde réel. Par exemple, vous pouvez avoir une colonne dans votre jeu de données qui sert de substitut à la colonne que vous voulez prédire avec votre modèle.
Lorsque vous utilisez Target Leakage (Fuite de cible), vous spécifiez les informations suivantes :
-
Target (Cible) : il s'agit de la caractéristique sur laquelle vous souhaitez que votre modèle ML puisse faire des prédictions.
-
Problem type (Type de problème) : c'est le type de problème ML sur lequel vous travaillez. Le type de problème peut être classification ou regression (régression).
-
(Facultatif) Max features (Nombre max de caractéristiques) : il s'agit du nombre maximal de caractéristiques à présenter dans la visualisation, qui affiche les caractéristiques classées par leur risque de fuite de cible.
Pour la classification, l'analyse des fuites cibles utilise la zone située sous la caractéristique de fonctionnement du récepteur, ou ROC courbe AUC - pour chaque colonne, jusqu'à la valeur maximale des caractéristiques. Pour la régression, il utilise un coefficient de détermination, ou métrique R2.
La ROC courbe AUC - fournit une métrique prédictive, calculée individuellement pour chaque colonne par validation croisée, sur un échantillon d'environ 1 000 lignes. Un score de 1 indique des capacités prédictives parfaites, ce qui indique souvent une fuite de cible. Un score de 0,5 ou moins indique que l'information figurant dans la colonne ne pouvait fournir, à elle seule, aucune information utile pour prédire la cible. Bien qu'il puisse arriver qu'une colonne n'apporte aucune information seule, mais qu'elle soit utile pour prédire la cible lorsqu'elle est utilisée en combinaison avec d'autres fonctions, un score faible peut indiquer que la fonction est redondante.
Par exemple, l'image suivante montre un rapport de fuite de cible pour un problème de classification du diabète, c'est-à-dire prédire si une personne est atteinte de diabète ou non. Une ROC courbe AUC - est utilisée pour calculer la capacité prédictive de cinq entités, et toutes sont considérées comme étant à l'abri d'une fuite cible.
![Exemple de rapport de fuite de cible dans la console Data Wrangler.](images/studio/mohave/target-leakage.png)
Multicolinéarité
La multicolinéarité est une circonstance dans laquelle deux variables prédictives ou plus sont liées les unes aux autres. Les variables prédictives sont les caractéristiques de votre jeu de données que vous utilisez pour prédire une variable cible. En cas de multicolinéarité, les variables prédictives sont non seulement prédictives de la variable cible, mais également prédictives les unes des autres.
Vous pouvez utiliser le facteur d'inflation de la variance (VIF), l'analyse en composantes principales (PCA) ou la sélection de fonctionnalités Lasso comme mesures de la multicolinéarité de vos données. Pour plus d’informations, consultez les rubriques suivantes.
Détecter des anomalies dans les données de séries temporelles
Vous pouvez utiliser la visualisation de détection d'anomalies pour voir les valeurs aberrantes dans vos données de séries temporelles. Pour comprendre ce qui détermine une anomalie, vous devez savoir que nous décomposons la série temporelle en terme prédit et en terme d'erreur. Nous considérons la saisonnalité et la tendance des séries temporelles comme étant le terme prédit. Nous considérons les résidus comme étant le terme d'erreur.
Pour le terme d'erreur, vous spécifiez un seuil comme étant le nombre d'écarts-types dont le résidu peut s'éloigner de la moyenne pour être considéré comme une anomalie. Par exemple, vous définissez le seuil à trois écarts-types. Tout résidu à plus de 3 écarts-types de la moyenne est une anomalie.
Vous pouvez utiliser la procédure suivante pour exécuter une analyse Anomaly detection (Détection des anomalies).
-
Ouvrez votre flux de données Data Wrangler.
-
Cliquez sur Data type (Type de données) dans votre flux de données, choisissez le +, puis sélectionnez Add analysis (Ajouter une analyse).
-
Pour Analysis Type Type d'analyse, choisissez Time Series (Séries temporelles).
-
Pour Visualization (Visualisation), choisissez Anomaly detection (Détection des anomalies).
-
Pour Anomaly threshold (Seuil d'anomalies), choisissez le seuil auquel une valeur est considérée comme une anomalie.
-
Choisissez Preview (Prévisualisation) pour générer une prévisualisation de l'analyse.
-
Choisissez Add (Ajouter) pour ajouter la transformation au flux de données Data Wrangler.
Décomposition de série temporelle dans les données de séries temporelles
Vous pouvez déterminer s'il existe une saisonnalité dans vos données de séries temporelles à l'aide de la visualisation de la décomposition des tendances saisonnières. Nous utilisons la méthode STL (décomposition des tendances saisonnières à l'aide deLOESS) pour effectuer la décomposition. Nous décomposons la série temporelle en composants saisonniers, tendances et résidus. La tendance reflète la progression à long terme de la série. Le composant saisonnier est un signal se répète au cours d'une période. Après avoir supprimé la tendance et les composants saisonniers de la série temporelles, vous avez les résidus.
Vous pouvez utiliser la procédure suivante pour exécuter une analyse Seasonal-Trend Decomposition (Décomposition de série temporelle).
-
Ouvrez votre flux de données Data Wrangler.
-
Cliquez sur Data type (Type de données) dans votre flux de données, choisissez le +, puis sélectionnez Add analysis (Ajouter une analyse).
-
Pour Analysis Type Type d'analyse, choisissez Time Series (Séries temporelles).
-
Pour Visualization (Visualisation), choisissez Seasonal-Trend Decomposition (Décomposition de série temporelle).
-
Pour Anomaly threshold (Seuil d'anomalies), choisissez le seuil auquel une valeur est considérée comme une anomalie.
-
Choisissez Preview (Prévisualisation) pour générer une prévisualisation de l'analyse.
-
Choisissez Add (Ajouter) pour ajouter la transformation au flux de données Data Wrangler.
Rapport de biais
Vous pouvez utiliser le rapport de biais dans Data Wrangler pour découvrir les biais potentiels dans vos données. Pour générer un rapport de biais, vous devez spécifier la colonne cible, ou Label (Étiquette), que vous souhaitez prédire et une Facet (Facette), ou la colonne que vous souhaitez inspecter pour détecter les biais.
Label (Étiquette) : fonction sur laquelle vous souhaitez qu'un modèle fasse des prédictions. Par exemple, si vous prédites la conversion des clients, vous pouvez sélectionner une colonne contenant des données indiquant si un client a passé une commande ou non. Vous devez également spécifier si cette fonction est une étiquette ou un seuil. Si vous spécifiez une étiquette, vous devez spécifier ce à quoi ressemble un résultat positif dans vos données. Dans l'exemple de conversion client, un résultat positif peut être 1 dans la colonne des commandes, représentant le résultat positif d'un client ayant passé une commande au cours des trois derniers mois. Si vous spécifiez un seuil, vous devez spécifier une limite inférieure définissant un résultat positif. Par exemple, si les colonnes de commandes client contiennent le nombre de commandes passées au cours de l'année précédente, vous pouvez spécifier 1.
Facet (Facette) : colonne que vous souhaitez inspecter pour les biais. Par exemple, si vous essayez de prédire la conversion des clients, votre facette peut correspondre à l'âge du client. Vous pouvez choisir cette facette parce que vous croyez que vos données sont biaisées vers un certain groupe d'âge. Vous devez identifier si la facette est mesurée en tant que valeur ou seuil. Par exemple, si vous souhaitez inspecter un ou plusieurs âges spécifiques, vous sélectionnez Value (Valeur) et spécifiez ces âges. Si vous souhaitez consulter un groupe d'âge, vous devez sélectionner Threshold (Seuil) et spécifier le seuil d'âge que vous souhaitez inspecter.
Après avoir sélectionné votre fonction et votre étiquette, vous sélectionnez les types de métriques de biais que vous souhaitez calculer.
Pour en savoir plus, veuillez consulter Générer des rapports sur les biais dans les données de pré-entraînement.
Créer des visualisations personnalisées
Vous pouvez ajouter une analyse à votre flux Data Wrangler pour créer une visualisation personnalisée. Votre jeu de données, avec toutes les transformations que vous avez appliquées, est disponible sous forme de Pandas DataFramedf
pour stocker le dataframe. Vous accédez au dataframe en appelant la variable.
Vous devez fournir la variable de sortie, chart
, pour stocker un graphique de sortie Altair
import altair as alt df = df.iloc[:30] df = df.rename(columns={"Age": "value"}) df = df.assign(count=df.groupby('value').value.transform('count')) df = df[["value", "count"]] base = alt.Chart(df) bar = base.mark_bar().encode(x=alt.X('value', bin=True, axis=None), y=alt.Y('count')) rule = base.mark_rule(color='red').encode( x='mean(value):Q', size=alt.value(5)) chart = bar + rule
Pour créer une visualisation personnalisée :
-
À côté du nœud contenant la transformation que vous souhaitez visualiser, sélectionnez le signe +.
-
Choisissez Add analysis (Ajouter une analyse).
-
Pour Analysis type (Type d'analyse), choisissez Custom Visualization (Visualisation personnalisée).
-
Pour Analysis name (Nom de l'analyse), spécifiez un nom.
-
Saisissez votre code dans la zone de code.
-
Cliquez sur Preview (Aperçu) pour avoir un aperçu de votre visualisation.
-
Sélectionnez Save (Enregistrer) pour créer une visualisation.
![Exemple expliquant comment ajouter votre visualisation dans la console Data Wrangler.](images/studio/mohave/custom-visualization.png)
Si vous ne savez pas comment utiliser le package de visualisation Altair dans Python, vous pouvez utiliser des extraits de code personnalisés pour bien démarrer.
Data Wrangler possède une collection interrogeable d'extraits de visualisation. Pour utiliser un extrait de visualisation, choisissez Search example snippets (Rechercher dans les exemples d'extraits) et spécifiez une requête dans la barre de recherche.
L'exemple suivant utilise l'extrait de code Binned scatterplot (Diagramme de dispersion échelonné). Il représente un histogramme pour 2 dimensions.
Les extraits contiennent des commentaires qui vous aident à comprendre les modifications que vous devez apporter au code. Vous devez généralement spécifier les noms de colonnes de votre jeu de données dans le code.
import altair as alt # Specify the number of top rows for plotting rows_number = 1000 df = df.head(rows_number) # You can also choose bottom rows or randomly sampled rows # df = df.tail(rows_number) # df = df.sample(rows_number) chart = ( alt.Chart(df) .mark_circle() .encode( # Specify the column names for binning and number of bins for X and Y axis x=alt.X("col1:Q", bin=alt.Bin(maxbins=20)), y=alt.Y("col2:Q", bin=alt.Bin(maxbins=20)), size="count()", ) ) # :Q specifies that label column has quantitative type. # For more details on Altair typing refer to # https://altair-viz.github.io/user_guide/encoding.html#encoding-data-types