JupyterHub - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

JupyterHub

Notebook Jupyter adalah aplikasi web sumber terbuka yang dapat Anda gunakan untuk membuat dan berbagi dokumen yang berisi kode langsung, persamaan, visualisasi, dan teks narasi. JupyterHubmemungkinkan Anda meng-host beberapa instance server notebook Jupyter pengguna tunggal. Saat Anda membuat cluster JupyterHub, Amazon EMR membuat wadah Docker di node master cluster. JupyterHub, semua komponen yang diperlukan untuk Jupyter, dan Sparkmagic berjalan di dalam wadah.

Sparkmagic adalah perpustakaan kernel yang memungkinkan notebook Jupyter berinteraksi dengan Apache Spark yang berjalan di AmazonEMR, yang merupakan server untuk Spark. Apache Livy REST Spark dan Apache Livy diinstal secara otomatis saat Anda membuat cluster dengan. JupyterHub Kernel Python 3 default untuk Jupyter tersedia bersama dengan kernel PySpark 3, PySpark, dan Spark yang tersedia dengan Sparkmagic. Anda dapat menggunakan kernel ini untuk menjalankan kode Spark ad-hoc dan kueri interaktif SQL menggunakan Python dan Scala. Anda dapat menginstal kernel tambahan dalam kontainer Docker secara manual. Untuk informasi selengkapnya, lihat Memasang kernel dan pustaka tambahan.

Diagram berikut menggambarkan komponen JupyterHub di Amazon EMR dengan metode otentikasi yang sesuai untuk pengguna notebook dan administrator. Untuk informasi selengkapnya, lihat Menambahkan pengguna dan administrator Jupyter Notebook.

JupyterHub architecture on EMR showing user authentication and component interactions.

Tabel berikut mencantumkan versi yang JupyterHub disertakan dalam rilis terbaru seri Amazon EMR 7.x, bersama dengan komponen yang EMR dipasang Amazon. JupyterHub

Untuk versi komponen yang diinstal JupyterHub dalam rilis ini, lihat Rilis Versi Komponen 7.3.0.

JupyterHub informasi versi untuk emr-7.3.0
Label EMR Rilis Amazon JupyterHub Versi Komponen Dipasang Dengan JupyterHub

emr-7.3.0

JupyterHub 1.5.0

emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Tabel berikut mencantumkan versi yang JupyterHub disertakan dalam rilis terbaru seri Amazon EMR 6.x, bersama dengan komponen yang EMR dipasang Amazon. JupyterHub

Untuk versi komponen yang diinstal JupyterHub dalam rilis ini, lihat Rilis Versi Komponen 6.15.0.

JupyterHub informasi versi untuk emr-6.15.0
Label EMR Rilis Amazon JupyterHub Versi Komponen Dipasang Dengan JupyterHub

emr-6.15.0

JupyterHub 1.5.0

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Tabel berikut mencantumkan versi yang JupyterHub disertakan dalam rilis terbaru seri Amazon EMR 5.x, bersama dengan komponen yang EMR dipasang Amazon. JupyterHub

Untuk versi komponen yang diinstal JupyterHub dalam rilis ini, lihat Rilis 5.36.2 Versi Komponen.

JupyterHub informasi versi untuk emr-5.36.2
Label EMR Rilis Amazon JupyterHub Versi Komponen Dipasang Dengan JupyterHub

emr-5.36.2

JupyterHub 1.4.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Kernel Python 3 yang disertakan di JupyterHub Amazon EMR adalah 3.6.4.

Pustaka yang diinstal dalam jupyterhub wadah dapat bervariasi antara versi EMR rilis Amazon dan EC2 AMI versi Amazon.

Untuk membuat daftar pustaka yang diinstal menggunakan conda

  • Jalankan perintah berikut pada baris perintah simpul utama:

    sudo docker exec jupyterhub bash -c "conda list"
Untuk membuat daftar pustaka yang diinstal menggunakan pip

  • Jalankan perintah berikut pada baris perintah simpul utama:

    sudo docker exec jupyterhub bash -c "pip freeze"
Topik