Prerequisiti per lo sviluppo degli schemi - AWS Glue
Scaricare le librerie PythonConfigurare l'SDK Java AWSConfigurazione dell'SDK Python AWSConfigurazione dell'anteprima della AWS CLI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Prerequisiti per lo sviluppo degli schemi

Per sviluppare i progetti, è bene avere familiarità con AWS Glue e con la scrittura di script per i processi Apache Spark ETL o di shell Python. È inoltre necessario completare le seguenti attività di configurazione.

  • Scaricare quattro librerie Python AWS da utilizzare negli script di layout del piano.

  • Configurare gli SDK di AWS.

  • Impostare AWS CLI.

Scaricare le librerie Python

Scarica le seguenti librerie da GitHub e installale nel tuo progetto:

Configurare l'SDK Java AWS

Per l'SDK Java AWS, è necessario aggiungere un file jar che includa l'API per i piani.

  1. Se non l'hai già fatto, configura l'SDK for Java AWS.

  2. Scarica il file client jar che ha accesso alle API per i piani.

    • Per Java 1.x: s3://awsglue-custom-blueprints-preview-artifacts/awsglue-java-sdk-preview/AWSGlueJavaClient-1.11.x.jar

    • Per Java 2.x: s3://awsglue-custom-blueprints-preview-artifacts/awsglue-java-sdk-v2-preview/AwsJavaSdk-Glue-2.0.jar

  3. Aggiungi il client jar nella parte anteriore del classpath Java per sovrascrivere il client AWS Glue fornito dall'SDK Java di AWS.

    export CLASSPATH=<path-to-preview-client-jar>:$CLASSPATH

  4. (Facoltativo) Testa l'SDK con la seguente applicazione Java. L'applicazione dovrebbe produrre un elenco vuoto.

    Sostituisci accessKey e secretKey con le tue credenziali e sostituisci us-east-1 con la tua regione.

    import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.AWSCredentialsProvider;
import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.services.glue.AWSGlue;
import com.amazonaws.services.glue.AWSGlueClientBuilder;
import com.amazonaws.services.glue.model.ListBlueprintsRequest;

public class App{
    public static void main(String[] args) {
        AWSCredentials credentials = new BasicAWSCredentials("accessKey", "secretKey");
        AWSCredentialsProvider provider = new AWSStaticCredentialsProvider(credentials);
        AWSGlue glue = AWSGlueClientBuilder.standard().withCredentials(provider)
                .withRegion("us-east-1").build();
        ListBlueprintsRequest request = new ListBlueprintsRequest().withMaxResults(2);
        System.out.println(glue.listBlueprints(request));
    }
}

Configurazione dell'SDK Python AWS

I seguenti passaggi presuppongono che sul computer sia installato Python versione 2.7 o successiva o versione 3.6 o successiva.

  1. Scarica il seguente file boto3 wheel. Se richiesto di aprire o salvare, salva il file. s3://awsglue-custom-blueprints-preview-artifacts/aws-python-sdk-preview/boto3-1.17.31-py2.py3-none-any.whl

  2. Scarica il seguente file ruota botocore wheel: s3://awsglue-custom-blueprints-preview-artifacts/aws-python-sdk-preview/botocore-1.20.31-py2.py3-none-any.whl

  3. Controlla la tua versione Python.

    python --version

  4. A seconda della versione di Python, immetti seguenti comandi (per Linux):

    • Per Python 2.7 o versioni successive.

      python3 -m pip install --user virtualenv
source env/bin/activate

    • Per Python 3.6 o versioni successive.

      python3 -m venv python-sdk-test
source python-sdk-test/bin/activate

  5. Installa il file botocore wheel.

    python3 -m pip install <download-directory>/botocore-1.20.31-py2.py3-none-any.whl

  6. Installa il file boto3 wheel.

    python3 -m pip install <download-directory>/boto3-1.17.31-py2.py3-none-any.whl

  7. Configura le credenziali e la regione predefinita nei file ~/.aws/credentials e ~/.aws/config. Per ulteriori informazioni, consulta Configurazione della AWS CLI nella Guida per l'utente di AWS Command Line Interface.

  8. (Facoltativo) Esegui il test della configurazione. I seguenti comandi devono restituire un elenco vuoto.

    Sostituisci us-east-1 con la tua regione.

    $ python
>>> import boto3
>>> glue = boto3.client('glue', 'us-east-1')
>>> glue.list_blueprints()

Configurazione dell'anteprima della AWS CLI

  1. Se non l'hai ancora fatto, installa e/o aggiorna AWS Command Line Interface (AWS CLI) sul computer. Il modo più semplice per eseguire questa operazione è utilizzare pip, l'utility di installazione Python:

    pip install awscli --upgrade --user

    Puoi trovare le istruzioni di installazione complete per AWS CLI qui: Installazione di AWS Command Line Interface.

  2. Scarica il file wheel AWS CLI da: s3://awsglue-custom-blueprints-preview-artifacts/awscli-preview-build/awscli-1.19.31-py2.py3-none-any.whl

  3. Installa il file wheel AWS CLI.

    python3 -m pip install awscli-1.19.31-py2.py3-none-any.whl

  4. Esegui il comando aws configure. Configura le credenziali AWS (tra cui chiave di accesso e chiave segreta) e la ragione AWS. Puoi trovare informazioni sulla configurazione di AWS CLI qui: Configurazione di AWS CLI.

  5. Testa AWS CLI. Il seguente comando dovrebbe restituire un elenco vuoto.

    Sostituisci us-east-1 con la tua regione.

    aws glue list-blueprints --region us-east-1