Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
VPCOpsi Amazon saat Anda meluncurkan cluster
Saat meluncurkan EMR klaster Amazon dalam aVPC, Anda dapat meluncurkannya dalam subnet publik, pribadi, atau bersama. Terdapat sedikit perbedaan dalam konfigurasi, tergantung pada jenis subnet yang Anda pilih untuk klaster.
Subnet publik
EMRcluster di subnet publik memerlukan gateway internet yang terhubung. Ini karena EMR cluster Amazon harus mengakses AWS layanan dan AmazonEMR. Jika layanan, seperti Amazon S3, menyediakan kemampuan untuk membuat VPC titik akhir, Anda dapat mengakses layanan tersebut menggunakan titik akhir alih-alih mengakses titik akhir publik melalui gateway internet. Selain itu, Amazon EMR tidak dapat berkomunikasi dengan cluster di subnet publik melalui perangkat terjemahan alamat jaringan (NAT). Gateway internet diperlukan untuk tujuan ini tetapi Anda masih dapat menggunakan NAT instance atau gateway untuk lalu lintas lain dalam skenario yang lebih kompleks.
Semua instance dalam kluster terhubung ke Amazon S3 melalui titik akhir atau VPC gateway internet. AWS Layanan lain yang saat ini tidak mendukung VPC titik akhir hanya menggunakan gateway internet.
Jika Anda memiliki AWS sumber daya tambahan yang Anda tidak ingin terhubung ke gateway internet, Anda dapat meluncurkan komponen-komponen tersebut di subnet pribadi yang Anda buat di dalam AndaVPC.
Cluster yang berjalan di subnet publik menggunakan dua grup keamanan: satu untuk node utama dan satu lagi untuk node inti dan tugas. Untuk informasi selengkapnya, lihat Kontrol lalu lintas jaringan dengan grup keamanan untuk EMR klaster Amazon Anda.
Diagram berikut menunjukkan bagaimana EMR cluster Amazon berjalan dalam VPC menggunakan subnet publik. Cluster ini dapat terhubung ke AWS sumber daya lain, seperti bucket Amazon S3, melalui gateway internet.
Diagram berikut menunjukkan cara mengatur VPC sehingga cluster di VPC dapat mengakses sumber daya di jaringan Anda sendiri, seperti database Oracle.
Subnet privat
Subnet pribadi memungkinkan Anda meluncurkan AWS sumber daya tanpa memerlukan subnet untuk memiliki gateway internet terlampir. Amazon EMR mendukung peluncuran cluster di subnet pribadi dengan versi rilis 4.2.0 atau yang lebih baru.
catatan
Saat menyiapkan EMR klaster Amazon di subnet pribadi, sebaiknya Anda juga menyiapkan VPCtitik akhir untuk Amazon S3. Jika EMR klaster Anda berada di subnet pribadi tanpa VPC titik akhir untuk Amazon S3, Anda akan dikenakan biaya gateway NAT tambahan yang terkait dengan lalu lintas S3 karena lalu lintas antara cluster dan S3 Anda tidak akan tetap berada di dalam EMR Anda. VPC
Subnet pribadi berbeda dari subnet publik dengan cara berikut:
-
Untuk mengakses AWS layanan yang tidak menyediakan VPC endpoint, Anda tetap harus menggunakan NAT instance atau gateway internet.
-
Minimal, Anda harus menyediakan rute ke bucket log EMR layanan Amazon dan repositori Amazon Linux di Amazon S3. Untuk informasi selengkapnya, silakan lihat Contoh kebijakan untuk subnet pribadi yang mengakses Amazon S3
-
Jika Anda menggunakan EMRFS fitur, Anda harus memiliki VPC endpoint Amazon S3 dan rute dari subnet pribadi Anda ke DynamoDB.
-
Debugging hanya berfungsi jika Anda menyediakan rute dari subnet pribadi Anda ke titik akhir Amazon SQS publik.
-
Membuat konfigurasi subnet pribadi dengan NAT instance atau gateway di subnet publik hanya didukung menggunakan. AWS Management Console Cara termudah untuk menambahkan dan mengonfigurasi NAT instance dan titik akhir Amazon VPC S3 untuk kluster EMR Amazon adalah dengan VPCmenggunakan halaman Daftar Subnet di konsol Amazon. EMR Untuk mengonfigurasi NAT gateway, lihat NATGateway di Panduan Pengguna Amazon. VPC
-
Anda tidak dapat mengubah subnet dengan EMR cluster Amazon yang ada dari publik ke pribadi atau sebaliknya. Untuk menemukan EMR kluster Amazon dalam subnet pribadi, cluster harus dimulai di subnet pribadi itu.
Amazon EMR membuat dan menggunakan grup keamanan default yang berbeda untuk cluster di subnet pribadi: ElasticMapReduce-Master-Private, ElasticMapReduce -Slave-Private, dan -. ElasticMapReduce ServiceAccess Untuk informasi selengkapnya, lihat Kontrol lalu lintas jaringan dengan grup keamanan untuk EMR klaster Amazon Anda.
Untuk daftar lengkap klaster Anda, pilih Grup keamanan untuk grup Primer dan Keamanan untuk Inti & Tugas di halaman Detail Kluster EMR konsol Amazon. NACLs
Gambar berikut menunjukkan bagaimana EMR cluster Amazon dikonfigurasi dalam subnet pribadi. Satu-satunya komunikasi di luar subnet adalah ke AmazonEMR.
Gambar berikut menunjukkan konfigurasi sampel untuk EMR klaster Amazon dalam subnet pribadi yang terhubung ke NAT instance yang berada di subnet publik.
Subnet bersama
VPCberbagi memungkinkan pelanggan untuk berbagi subnet dengan AWS akun lain dalam AWS Organisasi yang sama. Anda dapat meluncurkan EMR kluster Amazon ke subnet bersama publik dan pribadi bersama, dengan peringatan berikut.
Pemilik subnet harus berbagi subnet dengan Anda sebelum Anda dapat meluncurkan EMR cluster Amazon ke dalamnya. Namun, subnet yang dibagikan nantinya dapat dibatalkan pembagiannya. Untuk informasi selengkapnya, lihat Bekerja dengan Bersama VPCs. Saat klaster diluncurkan ke subnet bersama dan subnet bersama tersebut kemudian tidak dibagikan, Anda dapat mengamati perilaku tertentu berdasarkan status EMR klaster Amazon saat subnet tidak dibagikan.
-
Subnet tidak dibagikan sebelum klaster berhasil diluncurkan - Jika pemilik berhenti berbagi Amazon VPC atau subnet saat peserta meluncurkan klaster, klaster dapat gagal memulai atau diinisialisasi sebagian tanpa menyediakan semua instance yang diminta.
-
Subnet tidak dibagikan setelah klaster berhasil diluncurkan - Ketika pemilik berhenti berbagi subnet atau Amazon VPC dengan peserta, cluster peserta tidak akan dapat mengubah ukuran untuk menambahkan instance baru atau mengganti instance yang tidak sehat.
Saat Anda meluncurkan EMR klaster Amazon, beberapa grup keamanan dibuat. Dalam subnet bersama, peserta subnet mengontrol grup keamanan ini. Pemilik subnet dapat melihat grup keamanan ini tetapi tidak dapat melakukan tindakan apa pun terhadapnya. Jika pemilik subnet ingin menghapus atau mengubah grup keamanan, peserta yang membuat grup keamanan harus mengambil tindakan.
Kontrol VPC izin dengan IAM
Secara default, semua pengguna dapat melihat semua subnet untuk akun, dan setiap pengguna dapat meluncurkan cluster di subnet apa pun.
Saat meluncurkan klaster ke dalamVPC, Anda dapat menggunakan AWS Identity and Access Management (IAM) untuk mengontrol akses ke cluster dan membatasi tindakan menggunakan kebijakan, seperti yang Anda lakukan dengan cluster yang diluncurkan ke Amazon Classic. EC2 Untuk informasi selengkapnya tentang IAM, lihat IAM Panduan Pengguna.
Anda juga dapat menggunakan IAM untuk mengontrol siapa yang dapat membuat dan mengelola subnet. Misalnya, Anda dapat membuat IAM peran untuk mengelola subnet, dan peran kedua yang dapat meluncurkan cluster tetapi tidak dapat mengubah setelan Amazon. VPC Untuk informasi selengkapnya tentang mengelola kebijakan dan tindakan di Amazon EC2 dan AmazonVPC, lihat IAMKebijakan untuk Amazon EC2 di Panduan EC2 Pengguna Amazon.
