View a markdown version of this page

JupyterHub - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

JupyterHub

Jupyter Notebook è un'applicazione web open source che puoi utilizzare per creare e condividere documenti contenenti codice live, equazioni, visualizzazioni e testo narrativo. JupyterHubconsente di ospitare più istanze di un server notebook Jupyter per utente singolo. Quando crei un cluster con JupyterHub, Amazon EMR crea un contenitore Docker sul nodo master del cluster. JupyterHub, tutti i componenti necessari per Jupyter e https://github.com/jupyter-incubator/sparkmagic/blob/master/README.md Sparkmagic vengono eseguiti all'interno del contenitore.

Sparkmagic è una libreria di kernel che consente ai notebook Jupyter di interagire con Apache Spark in esecuzione su Amazon EMR tramite Apache Livy, che è un server REST per Spark. Spark e Apache Livy vengono installati automaticamente al momento della creazione di un cluster con JupyterHub. Il kernel Python 3 predefinito per Jupyter è disponibile insieme ai kernel PySpark 3 PySpark, 3 e Spark disponibili con Sparkmagic. Puoi utilizzare questi kernel per eseguire codice Spark ad-hoc e query SQL interattive utilizzando Python e Scala. Puoi installare kernel aggiuntivi all'interno del container Docker manualmente. Per ulteriori informazioni, consulta Installazione di kernel e librerie aggiuntive.

Il diagramma seguente illustra i componenti di Amazon EMR con i corrispondenti metodi di autenticazione per gli JupyterHub utenti di notebook e l'amministratore. Per ulteriori informazioni, consulta Aggiunta di utenti e amministratori Jupyter Notebook.

Diagramma dell'architettura che mostra l'accesso SSH e da riga di comando tramite PAM o LDAP all'istanza master. JupyterHub

La tabella seguente elenca la versione JupyterHub inclusa nell'ultima versione della serie Amazon EMR 7.x, insieme ai componenti con cui viene installato Amazon EMR. JupyterHub

Per la versione dei componenti installati JupyterHub in questa versione, consulta la Release 7.14.0 Component Versions.

JupyterHub informazioni sulla versione per emr-7.14.0
Etichetta di rilascio di Amazon EMR JupyterHub Versione Componenti installati con JupyterHub

emr-7.14.0

JupyterHub 1.5.0

emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-hdfs-zkfc, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

La tabella seguente elenca la versione JupyterHub inclusa nell'ultima release della serie Amazon EMR 6.x, insieme ai componenti con cui viene installato Amazon EMR. JupyterHub

Per la versione dei componenti installati JupyterHub in questa versione, consulta la Release 6.15.0 Component Versions.

JupyterHub informazioni sulla versione per emr-6.15.0
Etichetta di rilascio di Amazon EMR JupyterHub Versione Componenti installati con JupyterHub

emr-6.15.0

JupyterHub 1.5.0

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

La tabella seguente elenca la versione JupyterHub inclusa nell'ultima versione della serie Amazon EMR 5.x, insieme ai componenti con cui viene installato Amazon EMR. JupyterHub

Per la versione dei componenti installati JupyterHub in questa versione, consulta la Release 5.36.2 Component Versions.

JupyterHub informazioni sulla versione per emr-5.36.2
Etichetta di rilascio di Amazon EMR JupyterHub Versione Componenti installati con JupyterHub

emr-5.36.2

JupyterHub 1.4.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Il kernel Python 3 incluso in Amazon EMR è 3.6.4. JupyterHub

Le librerie installate all'interno del container jupyterhub possono variare tra versioni del rilascio Amazon EMR e versioni dell'AMI Amazon EC2.

Per elencare le librerie installate usando conda
  • Eseguire il seguente comando sulla riga di comando del nodo master:

    sudo docker exec jupyterhub bash -c "conda list"
Per elencare le librerie installate usando pip
  • Eseguire il seguente comando sulla riga di comando del nodo master:

    sudo docker exec jupyterhub bash -c "pip freeze"