JupyterHub - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

JupyterHub

Jupyter Notebook はオープンソースのウェブアプリケーションで、ライブコード、方程式、視覚化、音声テキストを含むドキュメントの作成や共有に使用することができます。JupyterHub では、単一ユーザーの Jupyter Notebook サーバーの複数のインスタンスをホストできます。を使用してクラスターを作成すると JupyterHub、Amazon はクラスターのマスターノードに Docker コンテナEMRを作成します。 JupyterHub、Jupyter に必要なすべてのコンポーネント、および Sparkmagic はコンテナ内で実行されます。

Sparkmagic は、Jupyter Notebook が Spark のサーバーである を介して Amazon で実行されている Apache Spark とやり取りできるようにするカーネルのライブラリです。 EMR Apache Livy RESTでクラスターを作成すると、Spark と Apache Livy が自動的にインストールされます JupyterHub。Jupyter 用のデフォルトの Python 3 カーネルは、 PySpark 3 PySpark、および Sparkmagic で使用できる Spark カーネルとともに使用できます。これらのカーネルを使用して、Python と Scala を使用してアドホック Spark コードとインタラクティブSQLクエリを実行できます。Docker コンテナ内で追加のカーネルを手動で追加することもできます。詳細については、「追加のカーネルとライブラリをインストールする」を参照してください。

次の図は、ノートブックユーザーと管理者に対応する認証方法EMRを持つ JupyterHub Amazon 上の のコンポーネントを示しています。詳細については、「Jupyter Notebook のユーザーと管理者を追加する」を参照してください。

JupyterHub architecture on EMR showing user authentication and component interactions.

次の表に、Amazon 7.x シリーズの最新リリース JupyterHub に含まれている EMR のバージョンと、Amazon が と共にEMRインストールするコンポーネントを示します JupyterHub。

このリリース JupyterHub で と共にインストールされるコンポーネントのバージョンについては、「リリース 7.2.0 コンポーネントバージョン」を参照してください。

JupyterHub emr-7.2.0 のバージョン情報
Amazon EMR リリースラベル JupyterHub バージョン でインストールされるコンポーネント JupyterHub

emr-7.2.0

JupyterHub 1.5.0

emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

次の表に、Amazon 6.x シリーズの最新リリース JupyterHub に含まれている EMR のバージョンと、Amazon が と共にEMRインストールするコンポーネントを示します JupyterHub。

このリリース JupyterHub で と共にインストールされるコンポーネントのバージョンについては、「リリース 6.15.0 コンポーネントバージョン」を参照してください。

JupyterHub emr-6.15.0 のバージョン情報
Amazon EMR リリースラベル JupyterHub バージョン でインストールされるコンポーネント JupyterHub

emr-6.15.0

JupyterHub 1.5.0

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

次の表に、Amazon 5.x シリーズの最新リリース JupyterHub に含まれている EMR のバージョンと、Amazon が と共にEMRインストールするコンポーネントを示します JupyterHub。

このリリース JupyterHub で と共にインストールされるコンポーネントのバージョンについては、「リリース 5.36.2 コンポーネントバージョン」を参照してください。

JupyterHub emr-5.36.2 のバージョン情報
Amazon EMR リリースラベル JupyterHub バージョン でインストールされるコンポーネント JupyterHub

emr-5.36.2

JupyterHub 1.4.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

JupyterHub Amazon の に含まれている Python 3 カーネルEMRは 3.6.4 です。

jupyterhub コンテナ内にインストールされるライブラリは、Amazon EMRリリースバージョンと Amazon EC2AMIバージョンによって異なる場合があります。

conda を使用してインストール済みのライブラリをリストにする
  • マスターノードのコマンドラインで次のコマンドを実行します。

    sudo docker exec jupyterhub bash -c "conda list"
pip を使用してインストール済みのライブラリをリストにする
  • マスターノードのコマンドラインで次のコマンドを実行します。

    sudo docker exec jupyterhub bash -c "pip freeze"