Démarrer avec Data Wrangler

1. Effectuez chaque étape dans Prérequis.

2. Suivez la procédure décrite dans Accéder à Data Wrangler pour commencer à utiliser Data Wrangler.

1. Pour utiliser Data Wrangler, vous devez avoir accès à une instance Amazon Elastic Compute Cloud EC2 (Amazon). Pour plus d'informations sur les EC2 instances Amazon que vous pouvez utiliser, consultezinstances. Pour savoir comment consulter vos quotas et, le cas échéant, demander leur augmentation, veuillez consulter la rubrique Quotas de service AWS.

2. Configurez les autorisations requises décrites dans Sécurité et autorisations.

3. Si votre entreprise utilise un pare-feu qui bloque le trafic Internet, vous devez avoir accès aux éléments suivants URLs :

   • https://ui.prod-1.data-wrangler.sagemaker.aws/

   • https://ui.prod-2.data-wrangler.sagemaker.aws/

   • https://ui.prod-3.data-wrangler.sagemaker.aws/

   • https://ui.prod-4.data-wrangler.sagemaker.aws/

Pour accéder à Data Wrangler dans Studio Classic, procédez comme suit.

1. Connectez-vous à Studio Classic. Pour de plus amples informations, veuillez consulter Vue d'ensemble SageMaker du domaine Amazon.

2. Choisissez Studio.

3. Choisissez Launch app (Lancer l'application).

4. Dans la liste déroulante, sélectionnez Studio.

5. Choisissez l'icône d'accueil.

6. Choisissez Data (Données).

7. Choisissez Data Wrangler.

8. Vous pouvez également créer un flux Data Wrangler en procédant comme suit.

   1. Dans la barre de navigation supérieure, sélectionnez File (Fichier).

   2. Sélectionnez New (Nouveau).

   3. Sélectionnez Data Wrangler Flow (Flux Data Wrangler).

   

9. (Facultatif) Renommez le nouveau répertoire et le fichier .flow.

10. Lorsque vous créez un nouveau fichier .flow dans Studio Classic, vous pouvez voir un carrousel vous présentant Data Wrangler.

    Cette opération peut prendre quelques minutes.

    Ce message persiste tant que l'KernelGatewayapplication sur votre page d'informations utilisateur est en attente. Pour connaître le statut de cette application, dans la SageMaker console de la page Amazon SageMaker Studio Classic, sélectionnez le nom de l'utilisateur que vous utilisez pour accéder à Studio Classic. Sur la page Informations utilisateur, vous pouvez voir une KernelGatewayapplication sous Applications. Attendez que l'état de l'appli passe à Ready (Prêt) pour commencer à utiliser Data Wrangler. Cela peut prendre environ 5 minutes la première fois que vous lancez Data Wrangler.

    

11. Pour commencer, choisissez une source de données et utilisez-la pour importer un jeu de données. Pour en savoir plus, veuillez consulter Importer.

    Lorsque vous importez un jeu de données, il apparaît dans votre flux de données. Pour en savoir plus, consultez Créer et utiliser un flux Data Wrangler.

12. Après avoir importé un jeu de données, Data Wrangler déduit automatiquement le type de données dans chaque colonne. Cliquez sur + à côté de l'étape Data types (Types de données) et cliquez sur Edit data types (Modification des types de données).

    Important

    Après avoir ajouté des transformations à l'étape Data types (Types de données), vous ne pouvez pas mettre à jour en bloc les types de colonne en utilisant Update types (Mise à jour des types).

13. Utilisez le flux de données pour ajouter des transformations et des analyses. Pour en savoir plus, veuillez consulter les rubriques Transformation de données et Analyse et visualisation.

14. Pour exporter un flux de données complet, cliquez sur Export (Exporter) et choisissez une option d'exportation. Pour en savoir plus, consultez Exporter.

15. Enfin, cliquez sur l'icône Components and registries (Composants et registres), puis sélectionnez Data Wrangler dans la liste déroulante pour afficher tous les fichiers .flow que vous avez créés. Vous pouvez utiliser ce menu pour rechercher des flux de données et passer d'un flux à l'autre.

Importer le jeu de données Titanic dans Data Wrangler

1. Cliquez sur le bouton Import data (Importer des données) dans l'onglet Data flow (Flux de données) ou choisissez l'onglet Import (Importer).

2. Cliquez sur Amazon S3.

3. Utilisez le tableau Import a dataset from S3 (Importer un jeu de données depuis S3) pour trouver le compartiment dans lequel vous avez ajouté le jeu de données Titanic. Choisissez le CSV fichier du jeu de données Titanic pour ouvrir le volet Détails.

4. Sous Détails, le type de fichier doit êtreCSV. Cochez la case First row is header (La première ligne est un en-tête) pour spécifier que la première ligne du jeu de données est un en-tête. Vous pouvez également nommer le jeu de données de manière plus conviviale, par exemple Titanic-train.

5. Cliquez sur le bouton Import (Importer).

1. Cliquez sur + à côté de l'étape Data type (Type de données) dans votre flux de données et sélectionnez Add analysis (Ajouter une analyse).

2. Dans la zone Analyze (Analyse), sélectionnez Table summary (Résumé du tableau) dans la liste déroulante.

3. Donnez un Name (Nom) au résumé du tableau.

4. Sélectionnez Preview (Aperçu) pour avoir un aperçu du tableau qui sera créé.

5. Choisissez Save (Enregistrer) pour l'enregistrer dans votre flux de données. Il apparaît sous All Analyses (Toutes les analyses).

Pour supprimer les colonnes inutilisées.

1. Ouvrez le flux Data Wrangler.

2. Votre flux Data Wrangler comporte deux nœuds. Choisissez le + à droite du nœud Data types (Types de données).

3. Choisissez Add transform (Ajouter une transformation).

4. Dans la colonne All steps (Toutes les étapes), choisissez Add step (Ajouter une étape).

5. Dans la liste des transformations Standard, choisissez Manage Columns (Gérer les colonnes). Les transformations standard sont des transformations intégrées prêtes à l'emploi. Assurez-vous que l'option Drop column (Supprimer la colonne) est sélectionnée.

6. Sous Columns to drop (Colonnes à supprimer), cochez les noms de colonne suivants :

   • cabin

   • ticket

   • name

   • sibsp

   • parch

   • home.dest

   • boat

   • body

7. Choisissez Preview (Aperçu).

8. Vérifiez que les colonnes ont été supprimées, puis cliquez sur Add (Ajouter).

1. Dans la colonne All steps (Toutes les étapes), choisissez Add step (Ajouter une étape).

2. Dans la liste de transformation Custom (Personnalisée), choisissez Custom transform (Transformation personnalisée).

3. Donnez un nom à votre transformation, puis sélectionnez Python (Pandas) dans la liste déroulante.

4. Saisissez le script Python suivant dans la zone de code.

   cols = ['name', 'ticket', 'cabin', 'sibsp', 'parch', 'home.dest','boat', 'body']
   df = df.drop(cols, axis=1)

5. Cliquez sur Preview (Aperçu) pour afficher un aperçu de la modification, puis cliquez sur Add (Ajouter) pour ajouter la transformation.

1. Choisissez Handle missing (Gérer les valeurs manquantes).

2. Choisissez Drop missing (Supprimer les valeurs manquantes) pour Transformation.

3. Choisissez age (âge) pour Input column (Colonne d'entrée).

4. Cliquez sur Preview (Aperçu) pour voir le nouveau bloc de données, puis cliquez sur Add (Ajouter) pour ajouter la transformation à votre flux.

5. Répétez le même processus pour fare (tarif).

1. Dans la section Custom Transform (Transformation personnalisée), sélectionnez Python (Pandas) dans la liste déroulante.

2. Saisissez le texte suivant dans la zone de code.

   import pandas as pd
   
   dummies = []
   cols = ['pclass','sex','embarked']
   for col in cols:
       dummies.append(pd.get_dummies(df[col]))
       
   encoded = pd.concat(dummies, axis=1)
   
   df = pd.concat((df, encoded),axis=1)

3. Cliquez sur Preview (Aperçu) pour afficher un aperçu de la modification. La version encodée de chaque colonne est ajoutée au jeu de données.

4. Cliquez sur Add (Ajouter) pour ajouter la transformation.

1. Dans la section Transformation personnalisée, sélectionnez SQL(PySpark SQL) dans la liste déroulante.

2. Saisissez le texte suivant dans la zone de code.

   SELECT survived, age, fare, 1, 2, 3, female, male, C, Q, S FROM df;

3. Cliquez sur Preview (Aperçu) pour afficher un aperçu de la modification. Les colonnes énumérées dans votre instruction SELECT sont les seules colonnes restantes.

4. Cliquez sur Add (Ajouter) pour ajouter la transformation.

1. Sauvegardez votre flux de données. Sélectionnez File (Fichier) et cliquez sur Save Data Wrangler Flow (Enregistrer le flux Data Wrangler).

2. Revenez à l'onglet Flux de données, sélectionnez la dernière étape de votre flux de données (SQL), puis cliquez sur le signe + pour ouvrir la navigation.

3. Choisissez Export (Exporter) et Amazon S3 (via Jupyter Notebook) (Amazon S3 (via le bloc-notes Jupyter)). Un bloc-notes Jupyter s'ouvre.

   

4. Choisissez n'importe quel noyau Python 3 (Data Science) pour Kernel (Noyau).

5. Lorsque le noyau démarre, exécutez les cellules du bloc-notes jusqu'à Kick off SageMaker Training Job (facultatif).

6. Vous pouvez éventuellement exécuter les cellules dans Kick off SageMaker Training Job (facultatif) si vous souhaitez créer une tâche de SageMaker formation pour former un XGBoost classificateur. Vous trouverez le coût d'une SageMaker formation sur Amazon SageMaker Pricing.

   Vous pouvez également ajouter les blocs de code trouvés dans XGBoostClassificateur d'entraînement le bloc-notes et les exécuter pour utiliser la bibliothèque XGBoostopen source afin de former un XGBoost classificateur.

7. Décommentez, exécutez la cellule sous Cleanup et exécutez-la pour rétablir la version SDK d'origine du SageMaker Python.

1. Commencez par mettre à niveau les modules nécessaires à l'aide du SUCCESS fichier _ pip et supprimez-le (ce dernier fichier pose problème lors de son utilisationawswrangler).

   ! pip install --upgrade awscli awswrangler boto sklearn
   ! aws s3 rm {output_path} --recursive  --exclude "*" --include "*_SUCCESS*"

2. Lisez les données depuis Amazon S3. Vous pouvez l'utiliser awswrangler pour lire récursivement tous les CSV fichiers du préfixe S3. Les données sont ensuite divisées en ressources et en étiquettes. L'étiquette est la première colonne du dataframe.

   import awswrangler as wr
   
   df = wr.s3.read_csv(path=output_path, dataset=True)
   X, y = df.iloc[:,:-1],df.iloc[:,-1]

   • Enfin, créez DMatrices (la structure XGBoost primitive des données) et effectuez une validation croisée à l'aide de la classification XGBoost binaire.

     import xgboost as xgb
     
     dmatrix = xgb.DMatrix(data=X, label=y)
     
     params = {"objective":"binary:logistic",'learning_rate': 0.1, 'max_depth': 5, 'alpha': 10}
     
     xgb.cv(
         dtrain=dmatrix, 
         params=params, 
         nfold=3,
         num_boost_round=50,
         early_stopping_rounds=10,
         metrics="rmse", 
         as_pandas=True, 
         seed=123)