Menyiapkan jaringan untuk pengembangan AWS Glue - AWS Glue
Menyiapkan jaringan Anda untuk titik akhir pengembanganMenyiapkan Amazon EC2 untuk server notebook

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyiapkan jaringan untuk pengembangan AWS Glue

Untuk menjalankan skrip ekstrak, transformasi, dan muat (ETL)AWS Glue, Anda dapat mengembangkan dan menguji skrip Anda menggunakan titik akhir pengembangan. Titik akhir pengembangan tidak didukung untuk digunakan dengan tugas AWS Glue versi 2.0. Untuk versi 2.0 dan yang lebih baru, metode pengembangan yang disukai adalah menggunakan Jupyter Notebook dengan salah satu kernel. AWS Glue Untuk informasi selengkapnya, lihat Memulai dengan AWS Glue sesi interaktif.

Menyiapkan jaringan Anda untuk titik akhir pengembangan

Ketika Anda mengatur titik akhir, Anda menentukan virtual private cloud (VPC), subnet, dan grup keamanan.

catatan

Pastikan Anda mengatur lingkungan DNS Anda untuk AWS Glue. Untuk informasi selengkapnya, lihat Menyiapkan DNS di VPC.

Untuk mengaktifkan AWS Glue agar mengakses sumber daya yang diperlukan, tambahkan baris dalam tabel rute subnet Anda untuk meng-associate daftar prefiks untuk Amazon S3 ke VPC endpoint. ID daftar prefiks diperlukan untuk membuat aturan grup keamanan keluar yang memungkinkan lalu lintas dari VPC untuk mengakses layanan AWS melalui sebuah VPC endpoint. Untuk memudahkan menyambung ke server notebook yang dikaitkan dengan titik akhir pengembangan ini, dari mesin lokal Anda, tambahkan baris ke tabel rute untuk menambahkan ID gateway internet. Untuk informasi lebih lanjut, lihat VPC endpoint. Memperbarui tabel rute subnet agar menjadi mirip dengan Daftar Tabel berikut:

Tujuan Target

10.0.0.0/16

lokal

pl-id untuk Amazon S3

vpce-id

0.0.0.0/0

igw-xxxx

Untuk mengaktifkan AWS Glue untuk berkomunikasi antara komponen-komponennya, tentukan grup keamanan dengan aturan inbound self-referencing untuk semua port TCP. Dengan membuat aturan self-referencing, Anda dapat membatasi sumber ke grup keamanan yang sama di VPC, dan ia tidak terbuka untuk semua jaringan. Grup keamanan default untuk VPC Anda mungkin sudah memiliki aturan self-referencing inbound untuk semua lalu lintas.

Untuk menyiapkan grup keamanan

  1. Masuk ke AWS Management Console dan buka konsol Amazon EC2 di https://console.aws.amazon.com/ec2/.

  2. Di panel navigasi sebelah kiri, pilih Grup Keamanan.

  3. Pilih grup keamanan yang sudah ada dari daftar, atau Buat Grup Keamanan untuk digunakan dengan titik akhir pengembangan.

  4. Di panel grup keamanan, arahkan ke tab Inbound.

  5. Tambahkan aturan self-referencing untuk mengizinkan komponen AWS Glue untuk berkomunikasi. Secara khusus, tambahkan atau konfirmasi bahwa ada aturan Jenis All TCP, Protokol adalah TCP, Rentang Port mencakup semua port, dan yang Sumber adalah nama grup keamanan yang sama seperti ID Grup.

    Aturan inbound terlihat serupa dengan ini:

    Tipe Protokol Rentang Port Sumber

    Semua TCP

    TCP

    0–65535

    kelompok keamanan

    Berikut ini adalah contoh aturan self-referencing inbound:

    Gambar menunjukkan contoh aturan self-referencing inbound.

  6. Menambahkan aturan untuk lalu lintas outbound juga. Buka lalu lintas keluar ke semua port, atau membuat aturan self-referencing di mana Jenis All TCP, Protokol adalah TCP, Rentang Port mencakup semua port, dan yang Sumber adalah nama grup keamanan yang sama seperti ID Grup.

    Aturan outbound terlihat mirip dengan salah satu aturan ini:

    Tipe Protokol Rentang Port Tujuan

    Semua TCP

    TCP

    0–65535

    kelompok keamanan

    Semua Lalu Lintas

    SEMUA

    SEMUA

    0.0.0.0/0

Menyiapkan Amazon EC2 untuk server notebook

Dengan titik akhir pengembangan, Anda dapat membuat server notebook untuk menguji skrip ETL Anda dengan notebook Jupyter. Untuk mengaktifkan komunikasi ke notebook Anda, tentukan grup keamanan dengan aturan masuk untuk HTTPS (port 443) dan SSH (port 22). Pastikan bahwa sumber aturan adalah 0.0.0.0/0 atau alamat IP dari mesin yang terhubung ke notebook.

Untuk menyiapkan grup keamanan

  1. Masuk ke AWS Management Console dan buka konsol Amazon EC2 di https://console.aws.amazon.com/ec2/.

  2. Di panel navigasi sebelah kiri, pilih Grup Keamanan.

  3. Pilih grup keamanan yang sudah ada dari daftar, atau Buat Grup Keamanan untuk digunakan dengan server notebook. Grup keamanan yang dikaitkan dengan titik akhir pengembangan Anda juga digunakan untuk menciptakan server notebook Anda.

  4. Di panel grup keamanan, arahkan ke tab Inbound.

  5. Tambahkan aturan inbound yang mirip dengan ini:

    Tipe Protokol Rentang Port Sumber

    SSH

    TCP

    22

    0.0.0.0/0

    HTTPS

    TCP

    443

    0.0.0.0/0

    Berikut ini adalah contoh aturan inbound untuk grup keamanan:

    Gambar yang menunjukkan contoh aturan inbound untuk grup keamanan.