View a markdown version of this page

Sesi latar belakang pengguna - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Sesi latar belakang pengguna

Sesi latar belakang pengguna memungkinkan beban kerja analisis dan pembelajaran mesin yang berjalan lama untuk terus berlanjut bahkan setelah pengguna keluar dari antarmuka notebook mereka. Dimulai dengan EMR pada rilis EC2 7.11, kemampuan ini tersedia melalui EMR-EC2 fitur propagasi identitas tepercaya. Bagian berikut menjelaskan opsi konfigurasi dan perilaku untuk sesi latar belakang pengguna.

catatan

Pengaturan sesi latar belakang pengguna hanya memengaruhi beban kerja Spark yang diluncurkan melalui SageMaker Unified Studio. Perubahan pada pengaturan ini berlaku untuk sesi Livy baru—sesi aktif yang ada tetap tidak terpengaruh.

Konfigurasikan sesi latar belakang pengguna

Sesi latar belakang pengguna harus diaktifkan pada dua tingkat untuk fungsionalitas yang tepat:

  1. Tingkat instance Pusat Identitas IAM (dikonfigurasi oleh administrator iDC)

  2. Tingkat cluster EMR (dikonfigurasi oleh administrator cluster EMR)

Aktifkan sesi latar belakang pengguna untuk Amazon EMR

Untuk mengaktifkan sesi latar belakang pengguna untuk Anda harus mengatur userBackgroundSessionsEnabled parameter ke true identityCenterConfiguration saat membuat konfigurasi keamanan EMR.

Prasyarat:

  • Peran IAM yang digunakan untuk membuat atau memperbarui Konfigurasi Keamanan EMR memerlukan izin. sso:PutApplicationSessionConfiguration Izin ini memungkinkan sesi latar belakang pengguna untuk aplikasi Pusat Identitas IAM yang dikelola Amazon EMR.

  • Membuat peran IAM untuk Pusat Identitas IAM

  • Luncurkan cluster EMR Anda dengan rilis 7.11 atau yang lebih baru dan aktifkan Trusted-Identity Propagasi.

Langkah 1 - Buat konfigurasi keamanan EMR yang UserBackgroundSession diaktifkan Identity Center

Pengguna perlu mengatur EnableUserBackgroundSession flag ke true, yang akan memungkinkan layanan EMR untuk diaktifkan UserBackgourndSession pada tingkat aplikasi IDC yang dikelola EMR. Jika bendera ini disetel ke false atau tidak disetel, EMR akan menonaktifkan IDC secara UserBackgroundSession default.

Contoh penggunaan AWS CLI:

aws emr create-security-configuration --name "idc-userBackgroundSession-enabled-secConfig" \ --region AWS_REGION \ --security-configuration ' \ { "AuthenticationConfiguration":{ "IdentityCenterConfiguration":{ "EnableIdentityCenter":true, "IdentityCenterInstanceARN": "arn:aws:sso:::instance/ssoins-123xxxxxxxxxx789", "IdentityCenterApplicationAssigmentRequired": false, "EnableUserBackgroundSession": true, "IAMRoleForEMRIdentityCenterApplicationARN": "arn:aws:iam::12345678912:role/YOUR_ROLE" } },\ "AuthorizationConfiguration": { "IAMConfiguration": { "EnableApplicationScopedIAMRole": true, "ApplicationScopedIAMRoleConfiguration": { "PropagateSourceIdentity": true } },\ "LakeFormationConfiguration": { "AuthorizedSessionTagValue": "Amazon EMR" } },\ "EncryptionConfiguration": { "EnableInTransitEncryption": true, "EnableAtRestEncryption": false, "InTransitEncryptionConfiguration": { "TLSCertificateConfiguration": { "CertificateProviderType": "PEM", "S3Object": "s3://amzn-s3-demo-bucket/cert/my-certs.zip" } } } }'

Langkah 2 - Buat dan luncurkan cluster yang diaktifkan Identity Center

Sekarang setelah Anda mengatur peran IAM yang mengotentikasi dengan Identity Center, dan membuat konfigurasi keamanan Amazon EMR yang mengaktifkan Pusat Identitas, Anda dapat membuat dan meluncurkan cluster yang sadar identitas. Untuk langkah-langkah peluncuran cluster dengan konfigurasi keamanan yang diperlukan, lihat Menentukan konfigurasi keamanan untuk cluster Amazon EMR.

Matriks Konfigurasi

Perilaku sesi latar belakang pengguna bergantung pada EMR-EC2 pengaturan dan setelan tingkat instance Pusat Identitas IAM:

Matriks Konfigurasi Sesi Latar Belakang Pengguna
Pengguna BackgroundSession Pusat Identitas IAM Diaktifkan Pengguna Amazon EMR BackgroundSessionsEnabled Perilaku
Ya BETUL Sesi latar belakang pengguna diaktifkan
Ya SALAH Sesi berakhir dengan logout pengguna
Tidak BETUL Sesi berakhir dengan logout pengguna
Tidak SALAH Sesi berakhir dengan logout pengguna

Durasi sesi latar belakang pengguna default

Secara default, semua sesi latar belakang pengguna memiliki batas durasi 7 hari di Pusat Identitas IAM. Administrator dapat mengubah durasi ini di konsol Pusat Identitas IAM. Pengaturan ini berlaku di tingkat instance Pusat Identitas IAM, memengaruhi semua aplikasi Pusat Identitas IAM yang didukung dalam instans tersebut.

  • Durasi dapat diatur ke nilai apa pun dari 15 menit hingga 90 hari.

  • Pengaturan ini dikonfigurasi di konsol Pusat Identitas IAM di bawah Peng aturan → Oten tikasi Konfigurasi (Lihat bagian Non-Interactive Pekerjaan)

Dampak menonaktifkan sesi latar belakang pengguna

Saat sesi latar belakang pengguna dinonaktifkan di Pusat Identitas IAM:

Sesi Livy yang ada
  • Terus berjalan tanpa gangguan jika dimulai dengan sesi latar belakang pengguna diaktifkan. Sesi ini akan terus menggunakan token sesi latar belakang yang ada sampai mereka berakhir secara alami atau dihentikan secara eksplisit.

Sesi Livy baru
  • Akan menggunakan alur propagasi identitas tepercaya standar dan akan berakhir saat pengguna log out atau sesi interaktif mereka berakhir (seperti saat menutup buku catatan Amazon SageMaker Unified Studio JupyterLab).

Mengubah durasi sesi latar belakang pengguna

Ketika pengaturan durasi untuk sesi latar belakang pengguna dimodifikasi di Pusat Identitas IAM:

Sesi Livy yang ada
  • Lanjutkan berjalan dengan durasi sesi latar belakang yang sama dengan yang dimulai.

Sesi Livy baru
  • Akan menggunakan durasi sesi baru untuk sesi latar belakang.

Pertimbangan-pertimbangan

Ketersediaan Fitur

Sesi latar belakang pengguna untuk Amazon EMR tersedia untuk:

  • Hanya mesin Spark (mesin Hive tidak didukung)

  • Hanya sesi interaktif Livy (pekerjaan batch dan pekerjaan streaming tidak didukung)

  • Amazon EMR merilis label 7.11 dan yang lebih baru. Dengan EMR rilis 7.11, Anda perlu menginstal skrip tindakan bootstrap untuk mengaktifkan sesi latar belakang pengguna saat membuat cluster. Silakan hubungi AWS Dukungan untuk detail tambahan.

    catatan

    Jika Anda menggunakan cluster SageMaker yang disediakan Unified Studio, Anda tidak memerlukan skrip tindakan bootstrap untuk menggunakan fitur ini.

Implikasi Biaya

  • Jobs akan terus berjalan hingga selesai bahkan setelah pengguna mengakhiri JupyterLab sesi Amazon SageMaker Unified Studio mereka dan akan dikenakan biaya untuk seluruh durasi proses yang selesai.

  • Pantau sesi latar belakang aktif Anda untuk menghindari biaya yang tidak perlu dari sesi yang terlupakan atau ditinggalkan.

Ketentuan Pengakhiran Sesi Livy

Saat menggunakan sesi latar belakang pengguna, sesi Livy akan terus berjalan hingga salah satu hal berikut terjadi:

  • Sesi latar belakang pengguna berakhir (berdasarkan konfigurasi iDC, hingga 90 hari).

  • Sesi latar belakang pengguna dicabut secara manual oleh administrator.

  • Sesi Livy mencapai batas waktu idle (default: 8 jam setelah pernyataan terakhir dieksekusi).

  • Pengguna secara eksplisit menghentikan atau memulai ulang kernel notebook.