Prerequisiti per lo sviluppo degli schemi - AWS Glue
Scaricare le librerie PythonConfigura AWS Java SDKConfigura l' AWS SDK PythonImposta l'anteprima AWS CLI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Prerequisiti per lo sviluppo degli schemi

Per sviluppare progetti, è necessario avere familiarità con l'uso AWS Glue e scrivere script per i job ETL di Apache Spark o i job della shell Python. È inoltre necessario completare le seguenti attività di configurazione.

  • Scarica quattro librerie AWS Python da usare negli script di layout dei tuoi blueprint.

  • Configura il. AWS SDKs

  • Configura il AWS CLI.

Scaricare le librerie Python

Scarica le seguenti librerie da GitHub, e installale nel tuo progetto:

Configura AWS Java SDK

Per AWS Java SDK, è necessario aggiungere un jar file che includa l'API per i blueprint.

  1. Se non l'hai già fatto, configura l' AWS SDK for Java.

  2. Scarica il jar file client che ha accesso ai progetti APIs for.

    • Per Java 1.x: s3://- -1.11.x.jar awsglue-custom-blueprints-preview artifacts/awsglue-java-sdk-preview/AWSGlueJavaClient

    • Per Java 2.x: s3://awsglue-custom-blueprints-preview- -Glue-2.0.jar artifacts/awsglue-java-sdk-v2-preview/AwsJavaSdk

  3. Aggiungi il client jar all'inizio del classpath Java per sovrascrivere il client AWS Glue fornito da Java SDK. AWS 

    export CLASSPATH=<path-to-preview-client-jar>:$CLASSPATH

  4. (Facoltativo) Testa l'SDK con la seguente applicazione Java. L'applicazione dovrebbe produrre un elenco vuoto.

    Sostituisci accessKey e secretKey con le tue credenziali e sostituisci us-east-1 con la tua regione.

    import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.AWSCredentialsProvider;
import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.services.glue.AWSGlue;
import com.amazonaws.services.glue.AWSGlueClientBuilder;
import com.amazonaws.services.glue.model.ListBlueprintsRequest;

public class App{
    public static void main(String[] args) {
        AWSCredentials credentials = new BasicAWSCredentials("accessKey", "secretKey");
        AWSCredentialsProvider provider = new AWSStaticCredentialsProvider(credentials);
        AWSGlue glue = AWSGlueClientBuilder.standard().withCredentials(provider)
                .withRegion("us-east-1").build();
        ListBlueprintsRequest request = new ListBlueprintsRequest().withMaxResults(2);
        System.out.println(glue.listBlueprints(request));
    }
}

Configura l' AWS SDK Python

I seguenti passaggi presuppongono che sul computer sia installato Python versione 2.7 o successiva o versione 3.6 o successiva.

  1. Scarica il seguente file boto3 wheel. Se viene richiesto di aprire o salvare, salva il file. s3://- 3-1.17.31-py2.py3-none-any.whl awsglue-custom-blueprints-preview artifacts/aws-python-sdk-preview/boto

  2. Scaricate il seguente file awsglue-custom-blueprints-preview botocore wheel: artifacts/aws-python-sdk-preview/botocore s3://- -1.20.31-py2.py3-none-any.whl

  3. Controlla la tua versione Python.

    python --version

  4. A seconda della versione di Python, immetti seguenti comandi (per Linux):

    • Per Python 2.7 o versioni successive.

      python3 -m pip install --user virtualenv
source env/bin/activate

    • Per Python 3.6 o versioni successive.

      python3 -m venv python-sdk-test
source python-sdk-test/bin/activate

  5. Installa il file botocore wheel.

    python3 -m pip install <download-directory>/botocore-1.20.31-py2.py3-none-any.whl

  6. Installa il file boto3 wheel.

    python3 -m pip install <download-directory>/boto3-1.17.31-py2.py3-none-any.whl

  7. Configura le credenziali e la regione predefinita nei file ~/.aws/credentials e ~/.aws/config. Per ulteriori informazioni, consulta Configurazione della AWS CLI nella Guida per l'utente di AWS Command Line Interface .

  8. (Facoltativo) Esegui il test della configurazione. I seguenti comandi devono restituire un elenco vuoto.

    Sostituisci us-east-1 con la tua regione.

    $ python
>>> import boto3
>>> glue = boto3.client('glue', 'us-east-1')
>>> glue.list_blueprints()

Imposta l'anteprima AWS CLI

  1. Se non l'hai già fatto, installa e/o aggiorna AWS Command Line Interface (AWS CLI) sul tuo computer. Il modo più semplice per eseguire questa operazione è utilizzare pip, l'utility di installazione Python:

    pip install awscli --upgrade --user

    Puoi trovare le istruzioni di installazione complete per AWS CLI qui: Installazione di AWS Command Line Interface.

  2. Scarica il file AWS CLI wheel da: s3://awsglue-custom-blueprints-preview- artifacts/awscli-preview-build/awscli -1.19.31-py2.py3-none-any.whl

  3. Installa il file AWS CLI wheel.

    python3 -m pip install awscli-1.19.31-py2.py3-none-any.whl

  4. Esegui il comando aws configure. Configura AWS le tue credenziali (inclusa la chiave di accesso e la chiave segreta) e la AWS regione. Puoi trovare informazioni sulla configurazione AWS CLI qui: Configurazione di. AWS CLI

  5. Prova il. AWS CLI Il seguente comando dovrebbe restituire un elenco vuoto.

    Sostituisci us-east-1 con la tua regione.

    aws glue list-blueprints --region us-east-1