View a markdown version of this page

Opsi Amazon VPC saat Anda meluncurkan cluster - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Opsi Amazon VPC saat Anda meluncurkan cluster

Saat Anda meluncurkan klaster Amazon EMR dalam VPC, Anda dapat meluncurkannya baik dalam subnet publik, privat, atau bersama. Terdapat sedikit perbedaan dalam konfigurasi, tergantung pada jenis subnet yang Anda pilih untuk klaster.

Subnet publik

klaster EMR di subnet publik memerlukan gateway internet yang terhubung. Ini karena cluster Amazon EMR harus mengakses AWS layanan dan Amazon EMR. Jika layanan, seperti Amazon S3, menyediakan kemampuan untuk membuat VPC endpoint, Anda dapat mengakses layanan tersebut dengan menggunakan titik akhir alih-alih mengakses titik akhir publik melalui gateway internet. Selain itu, Amazon EMR tidak dapat berkomunikasi dengan klaster di subnet publik melalui perangkat terjemahan alamat jaringan (NAT). Gateway internet diperlukan untuk tujuan ini, tetapi Anda masih dapat menggunakan instans NAT atau gateway untuk lalu lintas lain dalam skenario yang lebih kompleks.

Semua instans dalam klaster terhubung ke Amazon S3 melalui VPC endpoint atau gateway internet. AWS Layanan lain yang saat ini tidak mendukung titik akhir VPC hanya menggunakan gateway internet.

Jika Anda memiliki AWS sumber daya tambahan yang tidak ingin Anda sambungkan ke gateway internet, Anda dapat meluncurkan komponen tersebut di subnet pribadi yang Anda buat dalam VPC Anda.

Cluster yang berjalan di subnet publik menggunakan dua grup keamanan: satu untuk node utama dan satu lagi untuk node inti dan tugas. Untuk informasi selengkapnya, lihat Kontrol lalu lintas jaringan dengan grup keamanan untuk cluster Amazon EMR Anda.

Diagram berikut menunjukkan bagaimana klaster Amazon EMR berjalan di VPC menggunakan subnet publik. Cluster dapat terhubung ke AWS sumber daya lain, seperti bucket Amazon S3, melalui gateway internet.

Klaster pada VPC

Diagram berikut menunjukkan cara menyiapkan VPC sehingga klaster di VPC dapat mengakses sumber daya di jaringan Anda sendiri, seperti basis data Oracle.

Menyiapkan VPC dan klasster agar dapat mengakses sumber daya VPN lokal

Subnet privat

Subnet pribadi memungkinkan Anda meluncurkan AWS sumber daya tanpa memerlukan subnet untuk memiliki gateway internet terlampir. Amazon EMR mendukung peluncuran cluster di subnet pribadi dengan versi rilis 4.2.0 atau yang lebih baru.

catatan

Saat Anda menyiapkan cluster Amazon EMR di subnet pribadi, sebaiknya Anda juga menyiapkan titik akhir VPC untuk Amazon S3. Jika cluster EMR Anda berada di subnet pribadi tanpa titik akhir VPC untuk Amazon S3, Anda akan dikenakan biaya gateway NAT tambahan yang terkait dengan lalu lintas S3 karena lalu lintas antara cluster EMR dan S3 tidak akan tetap berada di dalam VPC Anda.

Subnet pribadi berbeda dari subnet publik dengan cara berikut:

  • Untuk Amazon EMR 8.0.0 dan versi lebih baru dan Amazon EMR Spark 8.0.0 dan yang lebih baru, Amazon EMR menyediakan titik akhir VPC di VPC Anda untuk mengaktifkan cluster Amazon EMR berkomunikasi dengan layanan Amazon EMR. Anda harus memberikan ec2:CreateVpcEndpoint dan ec2:ModifyVpcEndpoint izin pada peran layanan Anda untuk Amazon EMR atau membuat titik akhir VPC ini secara manual sebelum meluncurkan cluster. Nama layanan titik akhir VPC adalahaws.api.region.emr-service-cell01. Untuk contoh kebijakan yang dicakup dengan tag, lihat. Peran layanan untuk Amazon EMR (peran EMR)

  • Untuk mengakses AWS layanan yang tidak menyediakan titik akhir VPC, Anda masih harus menggunakan instance NAT atau gateway internet. Untuk mengonfigurasi gateway NAT, lihat Gateway NAT di Panduan Pengguna Amazon VPC.

  • Minimal, Anda harus menyediakan rute ke Amazon S3 untuk bucket yang dibutuhkan oleh Amazon EMR. Untuk informasi selengkapnya, lihat Contoh kebijakan untuk subnet pribadi yang mengakses Amazon S3

  • Jika Anda menggunakan fitur EMRFS, Anda harus memiliki VPC endpoint Amazon S3 dan rute dari subnet privat ke DynamoDB.

  • Anda tidak dapat mengubah subnet dengan cluster Amazon EMR yang ada dari publik ke pribadi atau sebaliknya. Untuk menemukan cluster Amazon EMR dalam subnet pribadi, cluster harus dimulai di subnet pribadi tersebut.

Amazon EMR membuat dan menggunakan grup keamanan default yang berbeda untuk cluster di subnet pribadi: ElasticMapReduce-Primary-Private,ElasticMapReduce-Core-Private, dan. ElasticMapReduce-ServiceAccess Untuk informasi selengkapnya, lihat Kontrol lalu lintas jaringan dengan grup keamanan untuk cluster Amazon EMR Anda.

Untuk daftar lengkap NACL cluster Anda, pilih Grup keamanan untuk Grup Primer dan Keamanan untuk Inti & Tugas di halaman Detail Cluster konsol Amazon EMR.

Gambar berikut menunjukkan bagaimana cluster Amazon EMR dikonfigurasi dalam subnet pribadi. Satu-satunya komunikasi di luar subnet adalah ke Amazon EMR.

Luncurkan cluster Amazon EMR di subnet pribadi

Gambar berikut menunjukkan konfigurasi sampel untuk cluster Amazon EMR dalam subnet pribadi yang terhubung ke instance NAT yang berada di subnet publik.

Subnet privat dengan NAT

Subnet bersama

Berbagi VPC memungkinkan pelanggan untuk berbagi subnet dengan AWS akun lain dalam Organisasi yang sama AWS . Anda dapat meluncurkan klaster Amazon EMR ke dalam subnet bersama publik dan bersama privat, dengan peringatan berikut.

Pemilik subnet harus berbagi subnet dengan Anda sebelum Anda dapat meluncurkan klaster Amazon EMR ke dalamnya. Namun, subnet yang dibagikan nantinya dapat dibatalkan pembagiannya. Untuk informasi lebih lanjut, lihat Bekerja dengan VPC Bersama. Saat klaster diluncurkan ke subnet bersama dan subnet bersama tersebut kemudian tidak dibatalkan pembagiannya, Anda dapat mengamati perilaku tertentu berdasarkan status klaster Amazon EMR saat subnet tidak dibagikan.

  • Subnet dibatalkan pembagiannya sebelum klaster berhasil diluncurkan - Jika pemilik berhenti membagikan Amazon VPC atau subnet saat peserta meluncurkan klaster, klaster akan mengalami gagal memulai atau diinisialisasi sebagian tanpa menyediakan semua instans yang diminta.

  • Subnet dibatalkan pembagiannya Setelah klaster berhasil diluncurkan - Saat pemilik berhenti membagikan subnet atau Amazon VPC dengan peserta, klaster peserta tidak akan dapat mengubah ukuran untuk menambahkan instans baru atau mengganti instans yang tidak sehat.

Saat Anda meluncurkan klaster Amazon EMR, beberapa grup keamanan akan dibuat. Dalam subnet bersama, peserta subnet mengontrol grup keamanan ini. Pemilik subnet dapat melihat grup keamanan ini tetapi tidak dapat melakukan tindakan apa pun terhadapnya. Jika pemilik subnet ingin menghapus atau mengubah grup keamanan, peserta yang membuat grup keamanan harus mengambil tindakan.

Kontrol izin VPC dengan IAM

Secara default, semua pengguna dapat melihat semua subnet untuk akun, dan setiap pengguna dapat meluncurkan cluster di subnet apa pun.

Saat meluncurkan cluster ke VPC, Anda dapat menggunakan AWS Identity and Access Management (IAM) untuk mengontrol akses ke cluster dan membatasi tindakan menggunakan kebijakan, seperti yang Anda lakukan dengan cluster yang diluncurkan ke Amazon EC2 Classic. Untuk informasi lebih lanjut tentang IAM, lihat Panduan Pengguna IAM.

Anda juga dapat menggunakan IAM untuk mengontrol siapa yang dapat membuat dan mengelola subnet. Misalnya, Anda dapat membuat peran IAM untuk mengelola subnet, dan peran kedua yang dapat meluncurkan cluster tetapi tidak dapat mengubah pengaturan Amazon VPC. Untuk informasi selengkapnya tentang mengelola kebijakan dan tindakan di Amazon EC2 dan Amazon VPC, lihat Kebijakan IAM untuk Amazon EC2 di Panduan Pengguna Amazon EC2.