Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione delle proprietà del lavoro per i lavori della shell Python in AWS Glue

È possibile utilizzare un processo di shell Python per eseguire script Python come shell in AWS Glue. Con un job di shell Python, puoi eseguire script compatibili con Python 3.6 o Python 3.9.

Limitazioni

Tieni presente le seguenti limitazioni dei processi shell Python:

Definire le proprietà del processo per i processi shell di Python

Queste sezioni descrivono la definizione delle proprietà del lavoro in AWS Glue Studioo utilizzando la AWS CLI.

AWS Glue Studio

Quando definisci il tuo lavoro nella shell Python in AWS Glue Studio, fornite alcune delle seguenti proprietà:

CLI

Puoi anche creare un job della shell Python usando AWS CLI, come nell'esempio seguente.

 aws glue create-job --name python-job-cli --role Glue_DefaultRole 
     --command '{"Name" :  "pythonshell", "PythonVersion": "3.9", "ScriptLocation" : "s3://DOC-EXAMPLE-BUCKET/scriptname.py"}'  
     --max-capacity 0.0625

Lavori che crei con l' AWS CLI impostazione predefinita di Python 3. Le versioni valide di Python sono 3 (corrispondenti a 3.6) e 3.9. Per specificare Python 3.6, aggiungi questa tupla al parametro --command: "PythonVersion":"3"

Per specificare Python 3.9, aggiungi questa tupla al parametro --command: "PythonVersion":"3.9"

Per impostare la capacità massima utilizzata da un processo shell di Python, fornire il parametro --max-capacity. Per i processi di shell di Python non è possibile utilizzare il parametro --allocated-capacity.

Librerie supportate dai processi shell di Python

Nella shell Python con Python 3.9 puoi scegliere il set di librerie per utilizzare set di librerie preconfezionati per le tue esigenze. Puoi utilizzare l'opzione library-set per scegliere il set di librerie. I valori validi sono analytics e none.

L'ambiente per l'esecuzione di un processo shell di Python supporta le seguenti librerie:

Puoi utilizzare la libreria NumPy in un processo shell di Python per il calcolo scientifico. Per ulteriori informazioni, consulta NumPy. L'esempio seguente mostra uno NumPy script che può essere usato in un job della shell Python. Lo script visualizza "Hello world" e i risultati di numerosi calcoli matematici.

import numpy as np
print("Hello world")

a = np.array([20,30,40,50])
print(a)

b = np.arange( 4 )

print(b)

c = a-b

print(c)

d = b**2

print(d)        

Fornire la propria libreria Python

Utilizzo di PIP

La shell Python che utilizza Python 3.9 consente di fornire moduli Python aggiuntivi o versioni diverse a livello di processo. Puoi utilizzare l'opzione --additional-python-modules con un elenco di moduli Python separati da virgole per aggiungere un nuovo modulo o modificare la versione di un modulo esistente. Non è possibile fornire moduli Python personalizzati ospitati su Amazon S3 con questo parametro quando si utilizzano processi di shell Python.

Ad esempio, per aggiornare o aggiungere un nuovo modulo scikit-learn usa la seguente coppia di chiave-valore: "--additional-python-modules", "scikit-learn==0.21.3".

AWS Glue utilizza Python Package Installer (pip3) per installare i moduli aggiuntivi. Puoi passare opzioni pip3 aggiuntive all'interno del valore di --additional-python-modules. Ad esempio "scikit-learn==0.21.3 -i https://pypi.python.org/simple/". Si applicano eventuali incompatibilità o limitazioni da pip3.

Utilizzo di un file Egg o Whl

È possibile che uno o più pacchetti di librerie Python siano disponibili come un file .whl o .egg. In questo caso, puoi specificarli nel tuo processo utilizzando AWS Command Line Interface (AWS CLI) sotto il flag "--extra-py-files", come mostrato nell'esempio seguente.

aws glue create-job --name python-redshift-test-cli --role role --command '{"Name" :  "pythonshell", "ScriptLocation" : "s3://MyBucket/python/library/redshift_test.py"}' 
     --connections Connections=connection-name --default-arguments '{"--extra-py-files" : ["s3://DOC-EXAMPLE-BUCKET/EGG-FILE", "s3://DOC-EXAMPLE-BUCKET/WHEEL-FILE"]}'

In caso di dubbi su come creare un file .egg o .whl da una libreria Python, utilizza la procedura seguente. Questo esempio si applica su sistemi macOS, Linux e Windows Subsystem for Linux (WSL).

Utilizzabile AWS CloudFormation con i lavori della shell Python in AWS Glue

È possibile utilizzare AWS CloudFormation con i lavori della shell Python in AWS Glue. Di seguito è riportato un esempio:

AWSTemplateFormatVersion: 2010-09-09
Resources:
  Python39Job:
    Type: 'AWS::Glue::Job'
    Properties:
      Command:
        Name: pythonshell
        PythonVersion: '3.9'
        ScriptLocation: 's3://bucket/location'
      MaxRetries: 0
      Name: python-39-job
      Role: RoleName           
        

L'output del gruppo Amazon CloudWatch Logs per i job della shell Python è. /aws-glue/python-jobs/output Per gli errori, consulta il gruppo di log /aws-glue/python-jobs/error.