Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengkonfigurasi jaringan
Bagian ini memberikan informasi tentang bagaimana administrator dapat mengonfigurasi jaringan mereka untuk memungkinkan komunikasi antara Studio atau Studio Classic dan EMR klaster Amazon.
Instruksi jaringan bervariasi berdasarkan apakah Studio dan Amazon EMR digunakan dalam Amazon Virtual Private Cloud (VPC) pribadi atau berkomunikasi melalui internet.
Secara default, Studio atau Studio Classic berjalan secara AWS terkelola VPC dengan akses internet. Saat menggunakan koneksi internet, Studio dan Studio Classic mengakses AWS sumber daya, seperti bucket Amazon S3, melalui internet. Namun, jika Anda memiliki persyaratan keamanan untuk mengontrol akses ke data dan wadah pekerjaan, sebaiknya Anda mengonfigurasi Studio atau Studio Classic dan Amazon EMR agar data dan container Anda tidak dapat diakses melalui internet. Untuk mengontrol akses ke sumber daya atau menjalankan Studio atau Studio Classic tanpa akses internet publik, Anda dapat menentukan jenis akses VPC only
jaringan saat Anda onboard ke SageMaker domain Amazon. Dalam skenario ini, Studio dan Studio Classic menjalin koneksi dengan AWS layanan lain melalui VPCtitik akhir pribadi. Untuk informasi tentang mengonfigurasi Studio atau Studio Classic dalam VPC only
mode, lihat Connect SageMaker Studio atau Studio Classic notebook dalam sumber daya eksternal VPC ke sumber daya eksternal. .
Dua bagian pertama menjelaskan cara memastikan komunikasi antara Studio atau Studio Classic dan EMR cluster Amazon VPCs tanpa akses internet publik. Bagian terakhir mencakup cara memastikan komunikasi antara Studio atau Studio Classic dan Amazon EMR menggunakan koneksi internet. Sebelum menghubungkan Studio atau Studio Classic dan Amazon EMR tanpa akses internet, pastikan untuk membuat titik akhir untuk Amazon Simple Storage Service (penyimpanan data), Amazon CloudWatch (logging dan monitoring), dan Amazon SageMaker Runtime (kontrol akses berbasis peran halus ()). RBAC
Untuk menghubungkan Studio atau Studio Classic dan EMR klaster Amazon Anda:
-
Jika Studio atau Studio Classic dan Amazon EMR terpisahVPCs, baik di AWS akun yang sama atau di akun yang berbeda, lihat Studio dan Amazon EMR terpisah VPCs.
-
Jika Studio atau Studio Classic dan Amazon EMR samaVPC, lihatStudio dan Amazon EMR berada di tempat yang sama VPC.
-
Jika Anda memilih untuk menghubungkan Studio atau Studio Classic dan Amazon EMR melalui internet publik, lihatStudio dan Amazon EMR berkomunikasi melalui internet publik.
Studio dan Amazon EMR terpisah VPCs
Untuk mengizinkan komunikasi antara Studio atau Studio Classic dan Amazon EMR saat digunakan secara terpisahVPCs:
-
Mulailah dengan menghubungkan Anda VPCs melalui koneksi VPC peering.
-
Perbarui tabel perutean Anda di masing-masing VPC untuk merutekan lalu lintas jaringan antara subnet Studio atau Studio Classic dan subnet Amazon dengan EMR dua arah.
-
Konfigurasikan grup keamanan Anda untuk memungkinkan lalu lintas masuk dan keluar.
Langkah-langkah untuk menghubungkan Studio atau Studio Classic dan Amazon EMR adalah sama apakah sumber daya digunakan dalam satu AWS akun (Kasus penggunaan akun tunggal) atau di beberapa AWS akun (Kasus penggunaan lintas akun).
-
VPCmengintip
Buat koneksi VPC peering untuk memfasilitasi jaringan antara keduanya VPCs (Studio atau Studio Classic dan AmazonEMR).
-
Dari akun Studio atau Studio Classic Anda, di VPC dasbor, pilih Koneksi peering, lalu Buat koneksi peering.
-
Buat permintaan Anda untuk mengintip Studio atau Studio Classic VPC dengan Amazon EMRVPC. Saat meminta mengintip di AWS akun lain, pilih Akun lain di Pilih akun lain VPC untuk dipeer.
Untuk peering lintas akun, administrator harus menerima permintaan dari akun AmazonEMR.
Saat mengintip subnet pribadi, Anda harus mengaktifkan DNS resolusi IP pribadi pada tingkat koneksi VPC peering.
-
-
Tabel perutean
Kirim lalu lintas jaringan antara subnet Studio atau Studio Classic dan subnet Amazon dua EMR arah.
Setelah Anda membuat koneksi peering, administrator (pada setiap akun untuk akses lintas akun) dapat menambahkan rute ke tabel rute subnet pribadi untuk merutekan lalu lintas antara Studio atau Studio Classic dan subnet cluster. Anda dapat menentukan rute tersebut dengan pergi ke bagian Tabel Rute masing-masing VPC di VPC dasbor.
Ilustrasi tabel rute VPC subnet Studio berikut menunjukkan contoh rute keluar dari akun Studio ke rentang EMR VPC IP Amazon (di sini
2.0.1.0/24
) melalui koneksi peering.Ilustrasi berikut dari tabel rute EMR VPC subnet Amazon menunjukkan contoh rute kembali dari rentang VPC IP Amazon EMR VPC ke Studio (di sini
10.0.20.0/24
) melalui koneksi peering. -
Grup keamanan
Terakhir, grup keamanan domain Studio atau Studio Classic Anda harus mengizinkan lalu lintas keluar, dan grup keamanan node EMR utama Amazon harus mengizinkan lalu lintas masuk pada TCP port Apache Livy, Hive, atau Presto (masing-masing,
8998
10000
, dan8889
) dari grup keamanan instans Studio atau Studio Classic. Apache Livyadalah layanan yang memungkinkan interaksi dengan Amazon EMR melalui antarmuka. REST
Diagram berikut menunjukkan contoh VPC penyiapan Amazon yang mengaktifkan JupyterLab atau notebook Studio Classic untuk menyediakan EMR kluster Amazon dari AWS CloudFormation templat di Service Catalog dan kemudian terhubung ke EMR klaster Amazon dalam akun yang sama AWS . Diagram memberikan ilustrasi tambahan tentang titik akhir yang diperlukan untuk koneksi langsung ke berbagai AWS layanan, seperti Amazon S3 atau CloudWatch Amazon, VPCs ketika tidak memiliki akses internet. Atau, NATgateway harus digunakan untuk memungkinkan instance dalam subnet pribadi dari beberapa VPCs untuk berbagi satu alamat IP publik yang disediakan oleh gateway internet saat mengakses internet.
![Contoh arsitektur VPC setup Amazon.](images/studio/emr/studio-notebooks-emr-architecture-singleaccount-vpcendpoints.png)
Studio dan Amazon EMR berada di tempat yang sama VPC
Jika Studio atau Studio Classic dan EMR klaster Amazon berada dalam subnet yang berbeda, tambahkan rute ke setiap tabel rute subnet pribadi untuk merutekan lalu lintas antara Studio atau Studio Classic dan subnet cluster. Anda dapat menentukan rute tersebut dengan pergi ke bagian Tabel Rute masing-masing VPC di VPC dasbor. Jika Anda menggunakan Studio atau Studio Classic dan EMR klaster Amazon di subnet yang sama VPC dan sama, Anda tidak perlu merutekan lalu lintas antara Studio atau Studio Classic dan cluster.
Apakah Anda perlu memperbarui tabel perutean atau tidak, grup keamanan domain Studio atau Studio Classic Anda harus mengizinkan lalu lintas keluar, dan grup keamanan node EMR utama Amazon harus mengizinkan lalu lintas masuk pada TCP port Apache Livy, Hive, atau Presto (masing-masing, 8998
10000
, dan8889
) dari grup keamanan instans Studio atau Studio Classic. Apache Livy
Studio dan Amazon EMR berkomunikasi melalui internet publik
Secara default, Studio dan Studio Classic menyediakan antarmuka jaringan yang memungkinkan komunikasi dengan internet melalui gateway internet yang VPC terkait dengan SageMaker domain. Jika Anda memilih untuk terhubung ke Amazon EMR melalui internet publik, EMR klaster Amazon Anda harus menerima lalu lintas masuk di TCP port Apache Livy, Hive, atau Presto (masing-masing, 8998
10000
, dan8889
) dari gateway internetnya. Apache Livy
Perlu diingat bahwa setiap port tempat Anda mengizinkan lalu lintas masuk merupakan potensi kelemahan keamanan. Cermatlah dalam meninjau grup keamanan kustom untuk memastikan bahwa Anda meminimalisir kelemahan. Untuk informasi selengkapnya, lihat Mengendalikan lalu lintas jaringan dengan grup keamanan.
Atau, lihat Blog dan whitepaper panduan mendetail tentang cara mengaktifkan Kerberos di EMR Amazon, mengatur cluster di subnet pribadi, dan mengakses cluster menggunakan Network Load Balancer NLB () untuk mengekspos hanya port tertentu, yang dikendalikan akses melalui grup keamanan.
catatan
Saat menghubungkan ke titik akhir Apache Livy Anda melalui internet publik, kami sarankan Anda mengamankan komunikasi antara Studio atau Studio Classic dan cluster Amazon EMR Anda menggunakan. TLS
Untuk informasi tentang pengaturan HTTPS dengan Apache Livy, lihat Mengaktifkan HTTPS dengan Apache Livy. Untuk informasi tentang menyetel EMR klaster Amazon dengan enkripsi transit diaktifkan, lihat Menyediakan sertifikat untuk mengenkripsi data saat transit dengan enkripsi Amazon EMR. Selain itu, Anda perlu mengonfigurasi Studio atau Studio Classic untuk mengakses kunci sertifikat Anda seperti yang ditentukan dalamConnect ke EMR kluster Amazon HTTPS.