Voraussetzungen für die Entwicklung von Blueprints - AWS Glue
Herunterladen der Python-BibliothekenEinrichten des AWS-Java-SDKEinrichten des AWS-Python-SDKEinrichten der Vorschau-AWS CLI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Voraussetzungen für die Entwicklung von Blueprints

Um Blueprints zu entwickeln, sollten Sie mit der Verwendung von AWS Glue und dem Schreiben von Skripten für Apache-Spark-ETL- oder Python-Shell-Aufträge vertraut sein. Außerdem müssen Sie die folgenden Einrichtungsaufgaben abschließen.

  • Laden Sie vier AWS-Python-Bibliotheken herunter, um sie in Ihren Blueprint-Layoutskripten zu verwenden.

  • Richten Sie die AWS-SDKs ein.

  • Richten Sie die AWS CLI ein.

Herunterladen der Python-Bibliotheken

Laden Sie die folgenden Bibliotheken von GitHub herunter und installieren Sie sie in Ihrem Projekt:

Einrichten des AWS-Java-SDK

Für das AWS-Java-SDK müssen Sie eine jar-Datei hinzufügen, die die API für Blueprints enthält.

  1. Falls noch nicht geschehen, richten Sie das AWS SDK for Java ein.

  2. Laden Sie die jar-Clientdatei herunter, die Zugriff auf die APIs für Blueprints hat.

    • Für Java 1.x: s3://awsglue-custom-blueprints-preview-artifacts/awsglue-java-sdk-preview/AWSGlueJavaClient-1.11.x.jar

    • Für Java 2.x: s3://awsglue-custom-blueprints-preview-artifacts/awsglue-java-sdk-v2-preview/AwsJavaSdk-Glue-2.0.jar

  3. Fügen Sie die Client-jar vorne im Java-Klassenpfad ein, um den AWS-Glue-Client zu überschreiben, der vom AWS-Java-SDK bereitgestellt wird.

    export CLASSPATH=<path-to-preview-client-jar>:$CLASSPATH

  4. (Optional) Testen Sie das SDK mit der folgenden Java-Anwendung. Die Anwendung sollte eine leere Liste ausgeben.

    Ersetzen Sie accessKey und secretKey mit Ihren Anmeldeinformationen und ersetzen Sie us-east-1 mit Ihrer Region.

    import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.AWSCredentialsProvider;
import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.services.glue.AWSGlue;
import com.amazonaws.services.glue.AWSGlueClientBuilder;
import com.amazonaws.services.glue.model.ListBlueprintsRequest;

public class App{
    public static void main(String[] args) {
        AWSCredentials credentials = new BasicAWSCredentials("accessKey", "secretKey");
        AWSCredentialsProvider provider = new AWSStaticCredentialsProvider(credentials);
        AWSGlue glue = AWSGlueClientBuilder.standard().withCredentials(provider)
                .withRegion("us-east-1").build();
        ListBlueprintsRequest request = new ListBlueprintsRequest().withMaxResults(2);
        System.out.println(glue.listBlueprints(request));
    }
}

Einrichten des AWS-Python-SDK

In den folgenden Schritten wird davon ausgegangen, dass Python-Version 2.7 oder höher oder Version 3.6 oder höher auf Ihrem Computer installiert ist.

  1. Laden Sie die folgende boto3-Wheel-Datei herunter. Wenn Sie zum Öffnen oder Speichern aufgefordert werden, speichern Sie die Datei. s3://awsglue-custom-blueprints-preview-artifacts/aws-python-sdk-preview/boto3-1.17.31-py2.py3-none-any.whl

  2. Laden Sie die folgende Botocore-Wheel-Datei herunter: s3://awsglue-custom-blueprints-preview-artifacts/aws-python-sdk-preview/botocore-1.20.31-py2.py3-none-any.whl

  3. Überprüfen Sie Ihre Python-Version.

    python --version

  4. Geben Sie je nach Python-Version die folgenden Befehle ein (für Linux):

    • Für Python 2.7 oder höher.

      python3 -m pip install --user virtualenv
source env/bin/activate

    • Für Python 3.6 oder höher.

      python3 -m venv python-sdk-test
source python-sdk-test/bin/activate

  5. Installieren Sie die Botocore-Wheel-Datei.

    python3 -m pip install <download-directory>/botocore-1.20.31-py2.py3-none-any.whl

  6. Installieren Sie die boto3-Wheel-Datei.

    python3 -m pip install <download-directory>/boto3-1.17.31-py2.py3-none-any.whl

  7. Konfigurieren Sie Ihre Anmeldeinformationen und Standardregion in den Dateien ~/.aws/credentials und~/.aws/config. Weitere Informationen finden Sie unter Konfigurieren der AWS CLI im AWS Command Line Interface-Leitfaden.

  8. (Optional) Testen Sie Ihre Einrichtung. Die folgenden Befehle sollten eine leere Liste zurückgeben.

    Ersetzen Sie us-east-1 durch Ihre Region.

    $ python
>>> import boto3
>>> glue = boto3.client('glue', 'us-east-1')
>>> glue.list_blueprints()

Einrichten der Vorschau-AWS CLI

  1. Falls noch nicht geschehen, installieren bzw. aktualisieren Sie die AWS Command Line Interface (AWS CLI) auf Ihrem Computer. Am einfachsten geht dies über pip, das Python-Installationsdienstprogramm:

    pip install awscli --upgrade --user

    Ausführliche Installationsanleitungen für die AWS CLI finden Sie unter Installieren der AWS Command Line Interface.

  2. Laden Sie die AWS CLI-Wheel-Datei hier herunter: s3://awsglue-custom-blueprints-preview-artifacts/awscli-preview-build/awscli-1.19.31-py2.py3-none-any.whl

  3. Installieren Sie die AWS CLI-Wheel-Datei.

    python3 -m pip install awscli-1.19.31-py2.py3-none-any.whl

  4. Führen Sie den Befehl aws configure aus. Konfigurieren Sie Ihre AWS-Anmeldeinformationen (einschließlich Zugriffsschlüssel und Geheimschlüssel) und die AWS-Region. Informationen zum Konfigurieren der AWS CLI finden Sie unter Konfigurieren der AWS CLI.

  5. Testen Sie die AWS CLI. Der folgende Befehl sollte eine leere Liste zurückgeben.

    Ersetzen Sie us-east-1 durch Ihre Region.

    aws glue list-blueprints --region us-east-1