Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Persyaratan, perbedaan dalam versi rilis, dan keamanan untuk Notebook EMR
catatan
Notebook EMR tersedia sebagai Ruang Kerja EMR Studio di konsol. Tom bol Buat Ruang Kerja di konsol memungkinkan Anda membuat buku catatan baru. Untuk mengakses atau membuat Ruang Kerja, pengguna Buku Catatan EMR memerlukan izin peran IAM tambahan. Untuk informasi selengkapnya, lihat Notebook Amazon EMR adalah Ruang Kerja Amazon EMR Studio di konsol dan konsol Amazon EMR.
Pertimbangkan persyaratan berikut, perbedaan versi rilis, informasi keamanan, dan pertimbangan lainnya saat Anda membuat cluster dan mengembangkan solusi menggunakan notebook EMR.
Persyaratan klaster
-
Aktifkan Amazon EMR Block Public Access — Akses masuk ke klaster memungkinkan pengguna klaster untuk mengeksekusi kernel notebook. Pastikan bahwa hanya pengguna yang diotorisasi yang dapat mengakses klaster. Kami sangat menyarankan Anda membiarkan block public access diaktifkan, dan Anda membatasi lalu lintas SSH masuk hanya untuk sumber tepercaya. Untuk informasi lebih lanjut, lihat Menggunakan Akses publik blok Amazon EMR dan Kontrol lalu lintas jaringan dengan grup keamanan untuk cluster Amazon EMR Anda.
-
Menggunakan Klaster Kompatibel — Sebuah klaster yang terpasang pada notebook harus memenuhi persyaratan berikut:
-
Hanya klaster yang dibuat menggunakan Amazon EMR yang didukung. Anda dapat membuat sebuah klaster secara independen dalam Amazon EMR dan kemudian melampirkan EMR notebook, atau Anda dapat membuat klaster kompatibel ketika Anda membuat EMR notebook.
-
Hanya klaster yang dibuat menggunakan rilis Amazon EMR versi 5.18.0 dan yang lebih baru yang didukung. Lihat Perbedaan kemampuan dengan versi rilis klaster.
-
Klaster yang dibuat menggunakan instans Amazon EC2 dengan prosesor AMD EPYC—misalnya, contoh instans m5a.* dan r5a.*—tidak didukung.
-
EMR Notebooks hanya berfungsi dengan klaster yang dibuat dengan
VisibleToAllUsersdiatur ketrue.VisibleToAllUsersadalahtruesecara default. -
Cluster harus diluncurkan dalam EC2-VPC. Subnet publik dan privat didukung. EC2-Classic Platform ini tidak didukung.
-
Klaster harus diluncurkan dengan Hadoop, Spark, dan Livy yang diinstal. Aplikasi lain dapat diinstal, tetapi EMR Notebooks saat ini hanya mendukung klaster Spark.
penting
Untuk rilis Amazon EMR versi 5.32.0 dan yang lebih baru, atau 6.2.0 dan yang lebih baru, cluster Anda juga harus menjalankan aplikasi Jupyter Enterprise Gateway agar dapat bekerja dengan Notebook EMR.
-
Klaster yang menggunakan autentikasi Kerberos tidak didukung.
-
Cluster yang terintegrasi dengan AWS Lake Formation mendukung pemasangan pustaka bercakupan notebook saja. Menginstal kernel dan pustaka di klaster tidak didukung.
-
Cluster dengan beberapa node primer tidak didukung.
-
Amazon EMR versi 6.9.0+ dan 5.31.1+ mendukung instans Graviton. JupyterEnterpriseGateway AWS
-
Perbedaan kemampuan dengan versi rilis klaster
Kami sangat menyarankan agar Anda menggunakan EMR Notebooks dengan klaster yang dibuat menggunakan Amazon EMR versi rilis 5.30.0, 5.32.0, atau lebih baru, atau 6.2.0 atau lebih baru. Dengan versi ini, EMR Notebooks menjalankan kernel pada klaster Amazon EMR yang dilampirkan. Kernel dan pustaka dapat diinstal langsung pada node utama cluster. Menggunakan EMR Notebooks dengan versi klaster ini memiliki manfaat sebagai berikut:
-
Peningkatan kinerja — Kernel Notebook berjalan pada klaster dengan jenis instans EC2 yang Anda pilih. Versi sebelumnya menjalankan kernel pada instans khusus yang tidak dapat diubah ukurannya, diakses, atau disesuaikan.
-
Kemampuan untuk menambah dan menyesuaikan kernel — Anda dapat terhubung ke klaster untuk menginstal paket kernel menggunakan
condadanpip. Selain itu, instalasipipdidukung menggunakan perintah terminal dalam sel notebook. Di versi sebelumnya, hanya kernel pra-instal yang tersedia (Python,, Spark PySpark, dan SparkR). Untuk informasi selengkapnya, lihat Menginstal kernel dan pustaka Python pada node utama cluster. -
Kemampuan untuk menginstal pustaka Python - Anda dapat menginstal pustaka Python pada node utama cluster menggunakan
condadanpip. Kami merekomendasikan penggunaanconda. Dengan versi sebelumnya, hanya pust aka bercakupan notebook yang didukung. PySpark
| Versi rilis klaster | Notebook-scoped perpustakaan untuk PySpark | Instalasi kernel di klaster | Instalasi pustaka Python pada node utama |
|---|---|---|---|
|
Lebih awal dari 5.18.0 |
EMR Notebooks tidak didukung |
||
|
5.18.0–5.25.0 |
Tidak |
Tidak |
Tidak |
|
5.26.0-5.29.0 |
Tidak |
Tidak |
|
|
5.30.0 |
|||
|
6.0.0 |
Tidak |
Tidak |
Tidak |
| 5.32.0 dan yang lebih baru, dan 6.2.0 dan yang lebih baru | Ya | Ya | Ya |
Batas untuk EMR Notebooks yang terpasang bersamaan
Saat Anda membuat cluster yang mendukung notebook, pertimbangkan jenis Instans EC2 dari node utama cluster. Batasan memori instans EC2 ini menentukan jumlah notebook yang dapat siap secara bersamaan untuk menjalankan kode dan kueri pada klaster.
| Jenis instans EC2 node utama | Jumlah EMR Notebooks |
|---|---|
|
*.medium |
2 |
|
*.large |
4 |
|
*.xlarge |
8 |
|
*.2xlarge |
16 |
|
*.4xlarge |
24 |
|
*.8xlarge |
24 |
|
*.16xlarge |
24 |
Versi Jupyter Notebook dan Python
EMR Notebooks menjalankan Jupyter Notebook versi 6.0.2
Security-related pertimbangan
- Menggunakan lokasi S3 terenkripsi
-
Jika Anda menentukan lokasi terenkripsi di Amazon S3 untuk menyimpan file notebook, Anda harus mengatur Peran layanan untuk EMR Notebooks sebagai pengguna kunci. Peran layanan default adalah
EMR_Notebooks_DefaultRole. Jika Anda menggunakan AWS KMS kunci untuk enkripsi, lihat Menggunakan kebijakan kunci di AWS KMS di Panduan Peng AWS Key Management Service embang dan artikel dukungan untuk menambahkan penggunakunci. - Menggunakan cookie dengan domain hosting
-
Untuk meningkatkan keamanan aplikasi di luar konsol yang mungkin Anda gunakan dengan Amazon EMR, domain hosting aplikasi terdaftar di Public Suffix List (PSL). Contoh domain hosting ini meliputi:
emrstudio-prod.us-east-1.amazonaws.com,emrnotebooks-prod.us-east-1.amazonaws.com,emrappui-prod.us-east-1.amazonaws.com. Untuk keamanan lebih lanjut, jika Anda perlu mengatur cookie sensitif di nama domain default, kami sarankan Anda menggunakan cookie dengan__Host-awalan. Ini membantu melindungi domain Anda dari upaya pemalsuan permintaan lintas situs (CSRF). Untuk informasi selengkapnya, lihat Set-Cookiehalaman di Mozilla Developer Network.
