Connect ke EMR klaster Amazon dari SageMaker Studio atau Studio Classic - Amazon SageMaker
Connect menggunakan UI StudioConnect menggunakan perintah koneksiConnect over HTTPS

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Connect ke EMR klaster Amazon dari SageMaker Studio atau Studio Classic

Pengguna Studio dapat terhubung ke EMR kluster Amazon yang sedang berjalan dari JupyterLab notebook menggunakan default SageMaker Gambar Distribusi mereka. Pengguna Studio Classic dapat terhubung ke cluster mereka dari notebook Studio Classic menggunakan kernel yang didukung.

Connect ke EMR klaster Amazon menggunakan UI Studio

Untuk menyambung ke klaster menggunakan UI Studio atau Studio Classic, Anda dapat memulai koneksi dari daftar kluster yang diaksesDaftar EMR kluster Amazon dari Studio atau Studio Classic, atau dari buku catatan di SageMaker Studio atau Studio Classic.

Untuk terhubung ke klaster tertentu dari daftar cluster

  1. Pilih nama cluster dalam daftar Anda. Ini mengaktifkan tombol Lampirkan ke notebook baru.

  2. Pilih Lampirkan ke buku catatan baru. Ini membuka kotak pilihan gambar dan kernel.

  3. Pilih gambar dan kernel Anda, lalu pilih Pilih. Untuk daftar gambar yang didukung, lihat Gambar dan kernel yang didukung untuk terhubung ke EMR klaster Amazon dari Studio atau Studio Classic atau lihatBawa gambar Anda sendiri.

  4. Jika klaster yang Anda pilih tidak menggunakan Kerberos,LDAP, atau otentikasi peran runtime, Studio atau Studio Classic meminta Anda untuk memilih jenis kredensialnya. Pilih dari otentikasi dasar Http atau No credentials, lalu masukkan kredensialnya, jika berlaku. Perintah koneksi mengisi sel pertama notebook Anda dan memulai koneksi dengan cluster AmazonEMR.

    Setelah koneksi berhasil, sebuah pesan mengkonfirmasi koneksi dan dimulainya aplikasi Spark.

Atau, Anda dapat terhubung ke cluster dari notebook.

  1. Pilih Cluster di bagian atas buku catatan Anda.

    Cluster hanya terlihat ketika Anda menggunakan kernel dari Gambar dan kernel yang didukung untuk terhubung ke EMR klaster Amazon dari Studio atau Studio Classic atau dariBawa gambar Anda sendiri. Jika Anda tidak dapat melihat Cluster di bagian atas buku catatan Anda, pastikan administrator Anda telah mengonfigurasi kemampuan untuk dapat ditemukan klaster Anda dan beralih ke kernel yang didukung.

    Ini membuka daftar cluster yang tersedia di suatu Running negara bagian.

  2. Pilih cluster yang ingin Anda sambungkan, lalu pilih Connect.

  3. Jika Anda mengonfigurasi EMR klaster Amazon untuk mendukung IAM peran runtime dan administrator memuat peran Anda sebelumnya dalam konfigurasi peran eksekusiJSON, Anda dapat memilih peran EMR akses Amazon dari menu tarik-turun peran EMR eksekusi Amazon. Jika peran Anda tidak dimuat sebelumnya, Studio atau Studio Classic akan menggunakan peran eksekusi Studio atau Studio Classic secara default. Untuk informasi tentang penggunaan peran runtime dengan AmazonEMR, lihatConnect ke EMR klaster Amazon dari Studio Classic menggunakan peran runtime IAM. Saat Anda terhubung ke klaster, Studio atau Studio Classic menambahkan blok kode ke sel aktif untuk membuat koneksi.

    Jika tidak, jika cluster yang Anda pilih tidak menggunakan Kerberos,LDAP, atau otentikasi peran runtime, Studio atau Studio Classic meminta Anda untuk memilih jenis kredensialnya. Anda dapat memilih otentikasi HTTP dasar atau No credential.

  4. Sel aktif mengisi dan berjalan. Sel ini berisi perintah koneksi untuk terhubung ke EMR cluster Amazon Anda.

    Setelah koneksi berhasil, sebuah pesan mengkonfirmasi koneksi dan dimulainya aplikasi Spark.

Connect ke EMR klaster Amazon menggunakan perintah koneksi

Untuk membuat koneksi ke EMR klaster Amazon, Anda dapat menjalankan perintah koneksi dalam sel notebook.

Saat membuat koneksi, Anda dapat mengautentikasi menggunakan Kerberos, Lightweight Directory Access Protocol (LDAP), atau otentikasi peran runtime IAM. Metode otentikasi yang Anda pilih bergantung pada konfigurasi cluster Anda.

Anda dapat merujuk ke contoh ini Akses Apache Livy menggunakan Network Load Balancer pada kluster Amazon berkemampuan Kerberos untuk menyiapkan EMR klaster Amazon yang menggunakan otentikasi Kerberos. EMR Atau, Anda dapat menjelajahi CloudFormation contoh templat menggunakan Kerberos atau LDAP otentikasi di aws-samples/ repositori. sagemaker-studio-emr GitHub

Jika administrator telah mengaktifkan akses lintas akun, Anda dapat menyambung ke EMR klaster Amazon dari notebook Studio Classic, terlepas dari apakah aplikasi dan klaster Studio Classic berada di AWS akun yang sama atau akun yang berbeda.

Untuk setiap jenis autentikasi berikut, gunakan perintah yang ditentukan untuk menyambung ke klaster Anda dari notebook Studio atau Studio Classic Anda.

  • Kerberos

    Tambahkan --assumable-role-arn argumen jika Anda memerlukan akses Amazon EMR lintas akun. Tambahkan --verify-certificate argumen jika Anda terhubung ke cluster Anda denganHTTPS.

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Kerberos --language python 
[--assumable-role-arn EMR_access_role_ARN ] 
[--verify-certificate /home/user/certificateKey.pem]

  • LDAP

    Tambahkan --assumable-role-arn argumen jika Anda memerlukan akses Amazon EMR lintas akun. Tambahkan --verify-certificate argumen jika Anda terhubung ke cluster Anda denganHTTPS.

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Basic_Access --language python 
[--assumable-role-arn EMR_access_role_ARN ]
[--verify-certificate /home/user/certificateKey.pem]

  • NoAuth

    Tambahkan --assumable-role-arn argumen jika Anda memerlukan akses Amazon EMR lintas akun. Tambahkan --verify-certificate argumen jika Anda terhubung ke cluster Anda denganHTTPS.

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type None --language python
[--assumable-role-arn EMR_access_role_ARN ]
[--verify-certificate /home/user/certificateKey.pem]

  • Peran runtime IAM

    Tambahkan --assumable-role-arn argumen jika Anda memerlukan akses Amazon EMR lintas akun. Tambahkan --verify-certificate argumen jika Anda terhubung ke cluster Anda denganHTTPS.

    Untuk informasi selengkapnya tentang menghubungkan ke EMR klaster Amazon menggunakan IAM peran runtime, lihatConnect ke EMR klaster Amazon dari Studio Classic menggunakan peran runtime IAM.

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Basic_Access \
--emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name
[--assumable-role-arn EMR_access_role_ARN]
[--verify-certificate /home/user/certificateKey.pem]

Connect ke EMR kluster Amazon HTTPS

Jika Anda telah mengonfigurasi EMR klaster Amazon Anda dengan enkripsi transit diaktifkan dan server Apache Livy untuk HTTPS dan ingin Studio atau Studio Classic berkomunikasi dengan Amazon EMR menggunakanHTTPS, Anda perlu mengonfigurasi Studio atau Studio Classic untuk mengakses kunci sertifikat Anda.

Untuk sertifikat yang ditandatangani sendiri atau ditandatangani oleh Otoritas Sertifikat lokal (CA), Anda dapat melakukannya dalam dua langkah:

  1. Unduh PEM file sertifikat Anda ke sistem file lokal Anda menggunakan salah satu opsi berikut:

  2. Aktifkan validasi sertifikat dengan memberikan jalur ke sertifikat Anda dalam --verify-certificate argumen perintah koneksi Anda.

    %sm_analytics emr connect --cluster-id cluster_id \
--verify-certificate /home/user/certificateKey.pem ...

Untuk sertifikat yang diterbitkan CA publik, tetapkan validasi sertifikat dengan menetapkan --verify-certificate parameter sebagaitrue.

Atau, Anda dapat menonaktifkan validasi sertifikat dengan menetapkan --verify-certificate parameter sebagaifalse.

Anda dapat menemukan daftar perintah koneksi yang tersedia ke EMR cluster Amazon diConnect ke EMR klaster Amazon menggunakan perintah koneksi.