Tutoriel : Écrire un script AWS Glue for Spark

Ce didacticiel vous présente le processus d'écriture des scripts AWS Glue. Vous pouvez exécuter des scripts selon un calendrier avec des tâches, ou de manière interactive avec des sessions interactives. Pour plus d'informations sur les tâches, consultez Création d'ETLemplois visuels avec AWS Glue Studio. Pour plus d'informations sur les sessions interactives, consultez Vue d'ensemble de AWS Glue sessions interactives.

L'éditeur visuel AWS Glue Studio propose une interface graphique sans code pour créer des tâches AWS Glue. AWS Les scripts Glue soutiennent les tâches visuelles. Ils vous donnent accès à l'ensemble étendu d'outils disponibles pour travailler avec les programmes Apache Spark. Vous pouvez accéder aux API Spark natives, ainsi qu'aux bibliothèques AWS Glue qui facilitent les flux de travail d'extraction, de transformation et de chargement (ETL) à partir d'un script AWS Glue.

Dans ce didacticiel, vous allez extraire, transformer et charger un jeu de données de tickets de stationnement. Le script qui effectue ce travail est identique en termes de forme et de fonction à celui généré dans Making ETL easy with AWS Glue Studio sur le blog AWS Big Data, qui présente l'éditeur visuel AWS Glue Studio. En exécutant ce script dans une tâche, vous pouvez le comparer à des tâches visuelles et voir comment fonctionnent les scripts AWS Glue ETL. Cela vous prépare à utiliser des fonctionnalités supplémentaires qui ne sont pas encore disponibles dans les tâches visuels.

Vous utilisez le langage et les bibliothèques Python dans ce didacticiel. Des fonctionnalités similaires sont disponibles dans Scala. Après avoir suivi ce didacticiel, vous devriez être en mesure de générer et d'inspecter un exemple de script Scala pour comprendre comment exécuter le processus d'écriture de script Scala AWS Glue ETL.

Prérequis

Ce didacticiel nécessite la configuration suivante :

Génération d'un exemple de script

Vous pouvez utiliser l'éditeur visuel AWS Glue Studio comme un puissant outil de génération de code pour créer un échafaudage pour le script que vous souhaitez écrire. Vous allez utiliser cet outil pour créer un exemple de script.

Si vous voulez ignorer ces étapes, le script est fourni.

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

args = getResolvedOptions(sys.argv, ["JOB_NAME"])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args["JOB_NAME"], args)

# Script generated for node S3 bucket
S3bucket_node1 = glueContext.create_dynamic_frame.from_catalog(
    database="yyz-tickets", table_name="tickets", transformation_ctx="S3bucket_node1"
)

# Script generated for node ApplyMapping
ApplyMapping_node2 = ApplyMapping.apply(
    frame=S3bucket_node1,
    mappings=[
        ("tag_number_masked", "string", "tag_number_masked", "string"),
        ("date_of_infraction", "string", "date_of_infraction", "string"),
        ("ticket_date", "string", "ticket_date", "string"),
        ("ticket_number", "decimal", "ticket_number", "float"),
        ("officer", "decimal", "officer_name", "decimal"),
        ("infraction_code", "decimal", "infraction_code", "decimal"),
        ("infraction_description", "string", "infraction_description", "string"),
        ("set_fine_amount", "decimal", "set_fine_amount", "float"),
        ("time_of_infraction", "decimal", "time_of_infraction", "decimal"),
    ],
    transformation_ctx="ApplyMapping_node2",
)

# Script generated for node S3 bucket
S3bucket_node3 = glueContext.write_dynamic_frame.from_options(
    frame=ApplyMapping_node2,
    connection_type="s3",
    format="glueparquet",
    connection_options={"path": "s3://DOC-EXAMPLE-BUCKET", "partitionKeys": []},
    format_options={"compression": "gzip"},
    transformation_ctx="S3bucket_node3",
)

job.commit()

Étape 1. Créer une tâche et coller votre script

Au cours de cette étape, vous allez créer une tâche AWS Glue dans le AWS Management Console. Cela permet de configurer une configuration qui permet à AWS Glue d'exécuter votre script. Elle crée également un espace dans lequel vous pouvez stocker et modifier votre script.

Étape 2. Importer des bibliothèques AWS Glue

Vous devez configurer votre script pour interagir avec le code et la configuration qui sont définis en dehors du script. Ce travail est réalisé dans les coulisses de AWS Glue Studio.

Dans cette étape, vous effectuez les actions suivantes.

Dans cette procédure, vous écrivez le code suivant. Ce code fait partie de l'exemple de script généré.

from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

args = getResolvedOptions(sys.argv, ["JOB_NAME"])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args["JOB_NAME"], args)

Étape 3. Extraire des données d'une source

Dans tout processus ETL, vous devez d'abord définir le jeu de données source que vous voulez modifier. Dans l'éditeur visuel AWS Glue Studio, vous fournissez ces informations en créant un nœud Source.

Au cours de cette étape, vous devez fournir à la méthode create_dynamic_frame.from_catalog une database et un table_name pour extraire des données d'une source configurée dans le catalogue de données AWS Glue.

À l'étape précédente, vous avez initialisé un objet GlueContext. Vous utilisez cet objet pour rechercher les méthodes qui sont utilisées pour configurer les sources, telles que create_dynamic_frame.from_catalog.

Dans cette procédure, vous écrivez le code suivant à l'aide de create_dynamic_frame.from_catalog. Ce code fait partie de l'exemple de script généré.

S3bucket_node1 = glueContext.create_dynamic_frame.from_catalog(
    database="yyz-tickets", table_name="tickets", transformation_ctx="S3bucket_node1"
    )

Étape 4 : Transformation de données avec AWS Glue

Après avoir extrait les données sources dans un processus ETL, vous devez décrire la manière dont vous souhaitez modifier vos données. Vous fournissez ces informations en créant un nœud Transform dans l'éditeur visuel AWS Glue Studio.

À cette étape, fournissez la méthode ApplyMapping avec une carte des noms et des types de champs actuels et souhaités pour transformer votre DynamicFrame.

Vous effectuez les transformations suivantes.

create_dynamic_frame.from_catalog vous fournit un objet DynamicFrame. A DynamicFrame représente un ensemble de données dans AWS Glue. AWS Les transformations à la colle sont des opérations qui changentDynamicFrames.

Dans cette procédure, vous écrivez le code suivant à l'aide de ApplyMapping. Ce code fait partie de l'exemple de script généré.

ApplyMapping_node2 = ApplyMapping.apply(
    frame=S3bucket_node1,
    mappings=[
        ("tag_number_masked", "string", "tag_number_masked", "string"),
        ("date_of_infraction", "string", "date_of_infraction", "string"),
        ("ticket_date", "string", "ticket_date", "string"),
        ("ticket_number", "decimal", "ticket_number", "float"),
        ("officer", "decimal", "officer_name", "decimal"),
        ("infraction_code", "decimal", "infraction_code", "decimal"),
        ("infraction_description", "string", "infraction_description", "string"),
        ("set_fine_amount", "decimal", "set_fine_amount", "float"),
        ("time_of_infraction", "decimal", "time_of_infraction", "decimal"),
    ],
    transformation_ctx="ApplyMapping_node2",
)

Étape 5. Charger des données dans une cible

Après avoir transformé vos données, vous les stockez généralement dans un endroit différent de la source. Vous effectuez cette opération en créant un nœud cible dans l'éditeur visuel AWS Glue Studio.

Au cours de cette étape, vous fournissez à la méthode des valeurs write_dynamic_frame.from_options, connection_type, connection_options, format et format_options pour charger des données dans un compartiment cible dans Amazon S3.

À l'étape 1, vous avez initialisé un objet GlueContext. Dans AWS Glue, vous trouverez ici les méthodes utilisées pour configurer les cibles, un peu comme les sources.

Dans cette procédure, vous écrivez le code suivant à l'aide de write_dynamic_frame.from_options. Ce code fait partie de l'exemple de script généré.

S3bucket_node3 = glueContext.write_dynamic_frame.from_options(
    frame=ApplyMapping_node2,
    connection_type="s3",
    format="glueparquet",
    connection_options={"path": "s3://DOC-EXAMPLE-BUCKET", "partitionKeys": []},
    format_options={"compression": "gzip"},
    transformation_ctx="S3bucket_node3",
    )

Étape 6. Valider l'objet Job

À l'étape 1, vous avez initialisé un objet Job. Vous devez finaliser son cycle de vie manuellement à la fin de votre script. Certaines fonctionnalités facultatives en ont besoin pour fonctionner correctement. Ce travail est réalisé dans les coulisses de AWS Glue Studio.

Dans cette étape, appelez la méthode commit sur l'objet Job.

Dans cette procédure, vous écrivez le code suivant. Ce code fait partie de l'exemple de script généré.

job.commit()

Facultatif : activer les signets de tâche

À chaque étape précédente, il vous a été demandé de définir les paramètres transformation_ctx. Ceci est lié à une fonctionnalité appelée signets de tâche.

Avec les signets de tâche, vous pouvez gagner du temps et de l'argent grâce à des tâches qui s'exécutent de manière récurrente, par rapport à des jeux de données où il est possible de suivre facilement le travail précédent. Les signets de tâches suivent la progression d'une transformation AWS Glue dans un ensemble de données par rapport aux exécutions précédentes. En suivant la fin des séries précédentes, AWS Glue peut limiter son travail aux lignes qu'elle n'a jamais traitées auparavant. Pour plus d'informations sur les signets de tâche, consultez Suivi des données traitées à l'aide de signets de tâche.

Pour activer les favoris des signets de tâche, ajoutez d'abord le transformation_ctx des déclarations sur les fonctions que nous fournissons, comme illustré dans les exemples précédents. L'état du signet de tâche est conservé au fil des exécutions. Les paramètres transformation_ctx sont des clés utilisées pour accéder à cet état. Seules, ces instructions ne servent à rien. Vous devez également activer la fonctionnalité dans la configuration de votre tâche.

Au cours de cette procédure, vous activez les signets de tâche à l'aide de la AWS Management Console.

Étape 7. Exécution de votre code en tant que tâche

Dans cette étape, vous exécutez votre tâche pour vérifier que vous avez bien suivi ce didacticiel. Cela se fait en cliquant sur un bouton, comme dans l'éditeur visuel AWS Glue Studio.

Pour plus d'informations sur la configuration et la gestion des tâches, consultez Fournir vos propres scripts personnalisés.

En savoir plus

Les bibliothèques et méthodes Apache Spark sont disponibles dans les scripts AWS Glue. Vous pouvez consulter la documentation Spark pour comprendre ce que vous pouvez faire avec les bibliothèques incluses. Pour de plus amples informations, consultez la section des exemples du référentiel Spark source.

AWS Glue 2.0+ inclut plusieurs bibliothèques Python courantes par défaut. Il existe également des mécanismes pour charger vos propres dépendances dans une tâche AWS Glue dans un environnement Scala ou Python. Pour plus d'informations sur les dépendances Python, consultez Utilisation des bibliothèques Python avec AWS Glue.

Pour plus d'exemples d'utilisation des fonctionnalités de AWS Glue en Python, consultezExemples de code Python AWS Glue. Les tâches Scala et Python ont des fonctionnalités identiques, donc nos exemples Python devraient vous donner quelques idées sur la façon d'effectuer une tâche similaire dans Scala.