JupyterHub - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

JupyterHub

Jupyter Notebook adalah aplikasi web open-source yang dapat Anda gunakan untuk membuat dan berbagi dokumen yang berisi kode langsung, persamaan, visualisasi, dan teks naratif. JupyterHubmemungkinkan Anda meng-host beberapa instance server notebook Jupyter pengguna tunggal. Saat Anda membuat cluster dengan JupyterHub, Amazon EMR membuat wadah Docker di node master cluster. JupyterHub, semua komponen yang diperlukan untuk Jupyter, dan Sparkmagic berjalan di dalam wadah.

Sparkmagic adalah perpustakaan kernel yang memungkinkan notebook Jupyter untuk berinteraksi dengan Apache Spark berjalan di Amazon EMR melalui Apache Livy, yang merupakan server REST untuk Spark. Spark dan Apache Livy diinstal secara otomatis saat Anda membuat cluster dengan. JupyterHub Kernel Python 3 default untuk Jupyter tersedia bersama dengan kernel PySpark 3, PySpark, dan Spark yang tersedia dengan Sparkmagic. Anda dapat menggunakan kernel ini untuk menjalankan kode Spark ad-hoc dan kueri SQL interaktif menggunakan Python dan Scala. Anda dapat menginstal kernel tambahan dalam kontainer Docker secara manual. Untuk informasi selengkapnya, lihat Memasang kernel dan pustaka tambahan.

Diagram berikut menggambarkan komponen JupyterHub di Amazon EMR dengan metode otentikasi yang sesuai untuk pengguna notebook dan administrator. Untuk informasi selengkapnya, lihat Menambahkan pengguna dan administrator Jupyter Notebook.

JupyterHub architecture on EMR showing user authentication and component interactions.

Tabel berikut mencantumkan versi yang JupyterHub disertakan dalam rilis terbaru seri Amazon EMR 7.x, bersama dengan komponen yang dipasang Amazon EMR. JupyterHub

Untuk versi komponen yang diinstal JupyterHub dalam rilis ini, lihat Rilis Versi Komponen 7.6.0.

JupyterHub informasi versi untuk emr-7.6.0
Label Rilis Amazon EMR JupyterHub Versi Komponen Dipasang Dengan JupyterHub

emr-7.6.0

JupyterHub 1.5.0

emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Tabel berikut mencantumkan versi yang JupyterHub disertakan dalam rilis terbaru seri Amazon EMR 6.x, bersama dengan komponen yang dipasang Amazon EMR. JupyterHub

Untuk versi komponen yang diinstal JupyterHub dalam rilis ini, lihat Rilis Versi Komponen 6.15.0.

JupyterHub informasi versi untuk emr-6.15.0
Label Rilis Amazon EMR JupyterHub Versi Komponen Dipasang Dengan JupyterHub

emr-6.15.0

JupyterHub 1.5.0

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Tabel berikut mencantumkan versi yang JupyterHub disertakan dalam rilis terbaru seri Amazon EMR 5.x, bersama dengan komponen yang dipasang Amazon EMR. JupyterHub

Untuk versi komponen yang diinstal JupyterHub dalam rilis ini, lihat Rilis 5.36.2 Versi Komponen.

JupyterHub informasi versi untuk emr-5.36.2
Label Rilis Amazon EMR JupyterHub Versi Komponen Dipasang Dengan JupyterHub

emr-5.36.2

JupyterHub 1.4.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Kernel Python 3 yang disertakan dengan EMR JupyterHub Amazon adalah 3.6.4.

Pustaka yang diinstal dalam jupyterhub wadah dapat bervariasi antara versi rilis Amazon EMR dan versi Amazon EC2 AMI.

Untuk membuat daftar pustaka yang diinstal menggunakan conda

  • Jalankan perintah berikut pada baris perintah simpul utama:

    sudo docker exec jupyterhub bash -c "conda list"
Untuk membuat daftar pustaka yang diinstal menggunakan pip

  • Jalankan perintah berikut pada baris perintah simpul utama:

    sudo docker exec jupyterhub bash -c "pip freeze"
Topik