Création d'ETLemplois visuels avec AWS Glue Studio

Un AWS Glue job encapsule un script qui se connecte à vos données source, les traite, puis les écrit dans votre cible de données. En général, une tâche exécute des scripts d'extraction, transformation et chargement (ETL). Les tâches peuvent exécuter des scripts conçus pour les environnements d'exécution Apache Spark et Ray. Les tâches peuvent également exécuter des scripts Python à usage général (tâches shell Python). AWS Glue les déclencheurs peuvent démarrer des tâches en fonction d'une planification, d'un événement ou à la demande. Vous pouvez surveiller les exécutions de tâche pour comprendre les métriques d'exécution telles que le statut d'achèvement, la durée et l'heure de début.

Vous pouvez utiliser des scripts qui AWS Glue génère ou fournir les vôtres. Avec un schéma source et un emplacement ou un schéma cible, le AWS Glue Studio Le générateur de code peut créer automatiquement un script Apache Spark API (PySpark). Vous pouvez utiliser ce script comme point de départ et le modifier en fonction de vos objectifs.

AWS Glue peut écrire des fichiers de sortie dans plusieurs formats de données. Chaque type de tâche peut prendre en charge différents formats de sortie. Pour certains formats de données, des formats de compression courants peuvent être écrits.

Se connecter à la AWS Glue console

Une tâche AWS Glue comprend la logique métier qui exécute les tâches d'extraction, de transformation et de chargement (ETL). Vous pouvez créer des emplois dans la ETLsection du AWS Glue console.

Pour afficher les tâches existantes, connectez-vous à la AWS Management Console et ouvrez AWS Glue console à https://console.aws.amazon.com/glue/. Choisissez ensuite l'onglet Tâches dans AWS Glue. La liste des tâches affiche l'emplacement du script associé à chaque tâche, la date de dernière modification de la tâche et l'option de signet de la tâche en cours.

Lors de la création d'une tâche, ou après avoir l'avoir enregistrée, vous pouvez utiliser AWS Glue Studio pour modifier vos ETL tâches. Vous pouvez le faire en éditant les nœuds dans l'éditeur visuel ou en modifiant le script de la tâche en mode développeur. Vous pouvez également ajouter et supprimer des nœuds dans l'éditeur visuel pour créer des ETL tâches plus compliquées.

Prochaines étapes de création d'une tâche dans AWS Glue Studio

Vous utilisez l'éditeur de tâches visuelles pour configurer les nœuds de votre tâche. Chaque nœud représente une action, telle que la lecture de données à partir de l'emplacement source ou l'application d'une transformation aux données. Chaque nœud que vous ajoutez à votre tâche possède des propriétés qui fournissent des informations sur l'emplacement des données ou la transformation.

Voici les étapes suivantes pour créer et gérer vos tâches :