Prasyarat untuk mengembangkan cetak biru - AWS Glue
Unduh pustaka PythonSiapkan AWS Java SDKSiapkan SDK AWS PythonSiapkan pratinjau AWS CLI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Prasyarat untuk mengembangkan cetak biru

Untuk mengembangkan cetak biru, Anda harus terbiasa menggunakan AWS Glue dan menulis skrip untuk pekerjaan Apache Spark ETL atau pekerjaan shell Python. Di samping itu, anda harus menyelesaikan tugas penyiapan berikut.

  • Unduh empat perpustakaan Python AWS untuk digunakan dalam skrip tata letak cetak biru Anda.

  • Siapkan AWS SDK.

  • Menyiapkan AWS CLI.

Unduh pustaka Python

Unduh pustaka berikut dari GitHub, dan instal ke dalam proyek Anda:

Siapkan AWS Java SDK

Untuk SDK Java AWS, Anda harus menambahkan file jar yang menyertakan API untuk cetak biru.

  1. Jika Anda belum melakukannya, siapkan SDK for Java AWS.

  2. Unduh jar file klien yang memiliki akses ke API untuk cetak biru.

    • Untuk Java 1.x: s3://-artifacts//awsglue-custom-blueprints-preview-1.11.x.jar awsglue-java-sdk-preview AWSGlueJavaClient

    • Untuk Java 2.x: s3://-artifacts/ 2-preview/ awsglue-custom-blueprints-preview -glue-2.0.jar awsglue-java-sdk-v AwsJavaSdk

  3. Tambahkan klien jar ke bagian depan classpath Java untuk mengganti klien AWS Glue yang disediakan oleh Java SDKAWS.

    export CLASSPATH=<path-to-preview-client-jar>:$CLASSPATH

  4. (Opsional) Uji SDK dengan aplikasi Java berikut. Aplikasi harus menampilkan sebuah daftar kosong.

    Ganti accessKey dan secretKey dengan kredensial Anda, dan ganti us-east-1 dengan Wilayah Anda.

    import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.AWSCredentialsProvider;
import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.services.glue.AWSGlue;
import com.amazonaws.services.glue.AWSGlueClientBuilder;
import com.amazonaws.services.glue.model.ListBlueprintsRequest;

public class App{
    public static void main(String[] args) {
        AWSCredentials credentials = new BasicAWSCredentials("accessKey", "secretKey");
        AWSCredentialsProvider provider = new AWSStaticCredentialsProvider(credentials);
        AWSGlue glue = AWSGlueClientBuilder.standard().withCredentials(provider)
                .withRegion("us-east-1").build();
        ListBlueprintsRequest request = new ListBlueprintsRequest().withMaxResults(2);
        System.out.println(glue.listBlueprints(request));
    }
}

Siapkan SDK AWS Python

Langkah-langkah berikut dengan asumsi bahwa Anda memiliki Python versi 2.7 atau yang lebih baru, atau versi 3.6 atau yang lebih baru yang sudah diinstal pada komputer Anda.

  1. Unduh file roda boto3 berikut. Jika diminta untuk membuka atau menyimpan, simpan file. s3://-artifacts/ awsglue-custom-blueprints-preview /boto3-1.17.31-py2.py3-none-any.whl aws-python-sdk-preview

  2. Unduh file roda botocore berikut: s3://-artifacts/ /botocore-1.20.31-py2.py3-none-any.whl awsglue-custom-blueprints-preview aws-python-sdk-preview

  3. Periksa versi Python anda.

    python --version

  4. Tergantung pada versi Python Anda, masukkan perintah berikut (untuk Linux):

    • Untuk Python 2.7 atau yang lebih baru.

      python3 -m pip install --user virtualenv
source env/bin/activate

    • Untuk Python 3.6 atau yang lebih baru.

      python3 -m venv python-sdk-test
source python-sdk-test/bin/activate

  5. Instal file roda botocore.

    python3 -m pip install <download-directory>/botocore-1.20.31-py2.py3-none-any.whl

  6. Instal file roda boto3.

    python3 -m pip install <download-directory>/boto3-1.17.31-py2.py3-none-any.whl

  7. Konfigurasi kredensial dan wilayah default Anda di ~/.aws/credentials dan ~/.aws/config. Untuk informasi lebih lanjut, lihat Mengonfigurasi AWS CLI di Panduan Pengguna AWS Command Line Interface.

  8. (Opsional) Uji penyiapan Anda. Perintah berikut harus mengembalikan sebuah daftar kosong.

    Ganti us-east-1 dengan Wilayah Anda.

    $ python
>>> import boto3
>>> glue = boto3.client('glue', 'us-east-1')
>>> glue.list_blueprints()

Siapkan pratinjau AWS CLI

  1. Jika Anda belum melakukannya, instal dan/atau perbarui AWS Command Line Interface (AWS CLI) di komputer Anda. Cara termudah untuk melakukannya adalah dengan pip, utilitas penginstal Python:

    pip install awscli --upgrade --user

    Anda dapat menemukan petunjuk instalasi lengkap untuk AWS CLI di sini: Menginstal AWS Command Line Interface.

  2. Unduh file AWS CLI roda dari: s3://-artifacts/ awsglue-custom-blueprints-preview /awscli-1.19.31-py2.py3-none-any.whl awscli-preview-build

  3. Instal file roda AWS CLI.

    python3 -m pip install awscli-1.19.31-py2.py3-none-any.whl

  4. Jalankan perintah aws configure. Konfigurasi kredensial AWS Anda (termasuk access key, dan kunci rahasia) dan Wilayah AWS. Anda dapat menemukan informasi tentang mengkonfigurasi AWS CLI di sini: Mengkonfigurasi AWS CLI.

  5. Uji AWS CLI. Perintah berikut harus mengembalikan sebuah daftar kosong.

    Ganti us-east-1 dengan Wilayah Anda.

    aws glue list-blueprints --region us-east-1