Configuration des propriétés des tâches pour les tâches du shell Python dans AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Vous pouvez utiliser une tâche shell Python pour exécuter des scripts Python en tant que shell dans AWS Glue. Avec une tâche shell Python, vous pouvez exécuter des scripts compatibles avec Python 3.6 ou Python 3.9.

Limites

Notez les limitations suivantes des tâches shell Python :

Définition des propriétés pour les tâches shell Python

Ces sections décrivent la définition des propriétés des tâches dans AWS Glue Studio, ou en utilisant la AWS CLI.

AWS Glue Studio

Lorsque vous définissez votre tâche shell Python dans AWS Glue Studio, vous fournissez certaines des propriétés suivantes :

INTERFACE DE LIGNE DE COMMANDE (CLI)

Vous pouvez également créer une tâche shell Python à l'aide de AWS CLI, comme dans l'exemple suivant.

 aws glue create-job --name python-job-cli --role Glue_DefaultRole 
     --command '{"Name" :  "pythonshell", "PythonVersion": "3.9", "ScriptLocation" : "s3://DOC-EXAMPLE-BUCKET/scriptname.py"}'  
     --max-capacity 0.0625

Tâches que vous créez avec Python 3 AWS CLI par défaut. Les versions valides de Python sont 3 (correspondant à 3.6), et 3.9. Pour spécifier Python 3.6, ajoutez ce tuple au paramètre --command : "PythonVersion":"3"

Pour spécifier Python 3.9, ajoutez ce tuple au paramètre --command : "PythonVersion":"3.9"

Pour définir la capacité maximale utilisée par une tâche shell Python, définissez le paramètre --max-capacity. Pour les tâches shell Python, le paramètre --allocated-capacity ne peut pas être utilisé.

Bibliothèques prises en charge pour les tâches shell Python

Dans le Python shell utilisant Python 3.9, vous pouvez choisir l'ensemble de bibliothèques qui utilisera les ensembles de bibliothèques préemballés selon vos besoins. Vous pouvez utiliser l'option library-set pour choisir l'ensemble de bibliothèques. Les valeurs valides sont analytics, et none.

L'environnement pour exécuter une tâche shell Python prend en charge les bibliothèques suivantes :

Vous pouvez utiliser la bibliothèque NumPy dans une tâche shell Python à des fins de calcul scientifique. Pour de plus amples informations, veuillez consulter NumPy. L'exemple suivant montre un NumPy script qui peut être utilisé dans une tâche shell Python. Le script inscrit « Hello world » et les résultats de plusieurs calculs mathématiques.

import numpy as np
print("Hello world")

a = np.array([20,30,40,50])
print(a)

b = np.arange( 4 )

print(b)

c = a-b

print(c)

d = b**2

print(d)        

Ajout de votre propre bibliothèque Python

Utilisation de PIP

Le Python shell utilisant Python 3.9 vous permet de fournir des modules Python supplémentaires ou des versions différentes au niveau de la tâche. Vous pouvez utiliser l'option --additional-python-modules avec une liste de modules Python séparés par des virgules pour ajouter un nouveau module ou modifier la version d'un module existant. Vous ne pouvez pas fournir de modules Python personnalisés hébergés sur Amazon S3 avec ce paramètre lorsque vous utilisez des tâches shell Python.

Par exemple, pour mettre à jour ou ajouter un nouveau module scikit-learn, utilisez la clé et la valeur suivantes : "--additional-python-modules", "scikit-learn==0.21.3".

AWS Glue utilise le Python Package Installer (pip3) pour installer les modules supplémentaires. Vous pouvez transmettre des options pip3 supplémentaires à l'intérieur de la valeur --additional-python-modules. Par exemple, "scikit-learn==0.21.3 -i https://pypi.python.org/simple/". Toutes les incompatibilités ou limitations de pip3 s'appliquent.

Utilisation d'un fichier Egg ou Whl

Vous avez peut-être déjà une ou plusieurs bibliothèques Python empaquetées sous la forme d'un fichier .egg ou .whl. Le cas échéant, vous pouvez les spécifier pour votre tâche à l'aide du AWS Command Line Interface (AWS CLI) sous l'indicateur « --extra-py-files », comme dans l'exemple suivant.

aws glue create-job --name python-redshift-test-cli --role role --command '{"Name" :  "pythonshell", "ScriptLocation" : "s3://MyBucket/python/library/redshift_test.py"}' 
     --connections Connections=connection-name --default-arguments '{"--extra-py-files" : ["s3://DOC-EXAMPLE-BUCKET/EGG-FILE", "s3://DOC-EXAMPLE-BUCKET/WHEEL-FILE"]}'

Si vous n'êtes pas sûr de la façon de créer un fichier .egg ou .whl à partir d'une bibliothèque Python, procédez comme suit. Cet exemple est applicable sur macOS, Linux et WSL (sous-système Windows pour Linux).

À utiliser AWS CloudFormation avec les jobs shell Python dans AWS Glue

Vous pouvez utiliser AWS CloudFormation avec Python des jobs shell dans AWS Glue. Voici un exemple :

AWSTemplateFormatVersion: 2010-09-09
Resources:
  Python39Job:
    Type: 'AWS::Glue::Job'
    Properties:
      Command:
        Name: pythonshell
        PythonVersion: '3.9'
        ScriptLocation: 's3://bucket/location'
      MaxRetries: 0
      Name: python-39-job
      Role: RoleName           
        

Le groupe Amazon CloudWatch Logs pour les résultats des tâches shell Python est/aws-glue/python-jobs/output. Pour les erreurs, consultez le groupe de journaux /aws-glue/python-jobs/error.

Migration du shell Python 3.6 vers le shell Python 3.9

Pour migrer vos jobs shell Python vers la dernière AWS Glue version :