セルフホスト型 Jupyter Notebook を使用する

ノートブックサーバーを実行する名前空間を作成します。

notebook.yaml というファイルを次の内容でローカルに作成します。ファイルの内容は次のとおりです。

apiVersion: v1
kind: Pod
metadata:
  name: jupyter-notebook
  namespace: namespace
spec:
  containers:
  - name: minimal-notebook
    image: jupyter/all-spark-notebook:lab-3.1.4 # open source image 
    ports:
    - containerPort: 8888
    command: ["start-notebook.sh"]
    args: ["--LabApp.token=''"]
    env:
    - name: JUPYTER_ENABLE_LAB
      value: "yes"
    - name: KERNEL_LAUNCH_TIMEOUT
      value: "400"
    - name: JUPYTER_GATEWAY_URL
      value: "serverUrl"
    - name: JUPYTER_GATEWAY_VALIDATE_CERT
      value: "false"
    - name: JUPYTER_GATEWAY_AUTH_TOKEN
      value: "session-token"

Jupyter Notebook を Fargate 専用クラスターにデプロイする場合は、次の例のように Jupyter ポッドに role ラベルを付けます。

...
metadata:
  name: jupyter-notebook
  namespace: default
  labels:
    role: example-role-name-label
spec:
            ...

Amazon EKS クラスターにポッドの仕様をデプロイします。

kubectl apply -f notebook.yaml -n namespace

これにより、EKS での Amazon EMR インタラクティブエンドポイントに接続された最小限の JupyterLab ノートブックが起動します。ポッドが RUNNING になるまでお待ちください。次のコマンドを使用して、ポッドのステータスを確認します。

kubectl get pod jupyter-notebook -n namespace

ポッドの準備が整うと、get pod コマンドは次のような出力を返します。

NAME              READY  STATUS   RESTARTS  AGE
jupyter-notebook  1/1    Running  0         46s

ノートブックセキュリティグループを、ノートブックがスケジュールされているノードにアタッチします。

1. まず、jupyter-notebook ポッドがスケジュールされているノードを describe pod コマンドで特定します。

   kubectl describe pod jupyter-notebook -n namespace

2. Amazon EKS コンソール (https://console.aws.amazon.com/eks/home#/clusters) を開きます。

3. Amazon EKS クラスターの [コンピューティング] タブに移動し、describe pod コマンドで特定したノードを選択します。ノードのインスタンス ID を選択します。

4. [アクション] メニューから [セキュリティ] > [セキュリティグループを変更] を選択し、セキュリティグループの作成 で作成したセキュリティグループをアタッチします。

5. AWS Fargate で Jupyter Notebook ポッドをデプロイする場合は、ロールラベルを付けた Jupyter Notebook ポッドに適用する SecurityGroupPolicy を作成します。

   cat >my-security-group-policy.yaml <<EOF
   apiVersion: vpcresources.k8s.aws/v1beta1
   kind: SecurityGroupPolicy
   metadata:
     name: example-security-group-policy-name
     namespace: default
   spec:
     podSelector:
       matchLabels:
         role: example-role-name-label
     securityGroups:
       groupIds:
         - your-notebook-security-group-id
   EOF

次に、ポート転送して JupyterLab インターフェイスにローカルにアクセスできるようにします。

kubectl port-forward jupyter-notebook 8888:8888 -n namespace

それが実行したら、ローカルブラウザに移動し、localhost:8888 にアクセスして JupyterLab インターフェイスを確認してください。

JupyterLab から、新しい Scala ノートブックを作成します。Pi の値を概算するために実行できるサンプルコードスニペットを次に示します。

import scala.math.random
import org.apache.spark.sql.SparkSession

/** Computes an approximation to pi */
val session = SparkSession
  .builder
  .appName("Spark Pi")
  .getOrCreate()

val slices = 2
// avoid overflow
val n = math.min(100000L * slices, Int.MaxValue).toInt 
 
val count = session.sparkContext
.parallelize(1 until n, slices)
.map { i =>
  val x = random * 2 - 1
  val y = random * 2 - 1
  if (x*x + y*y <= 1) 1 else 0
}.reduce(_ + _)

println(s"Pi is roughly ${4.0 * count / (n - 1)}")
session.stop()

次のコマンドを使用して、jupyter-notebook ポッドを削除します。

kubectl delete pod jupyter-notebook -n namespace

次に、delete-managed-endpoint コマンドを使用してインタラクティブエンドポイントを削除します。インタラクティブエンドポイントを削除する手順については、「インタラクティブエンドポイントを削除する」を参照してください。最初、エンドポイントは TERMINATING 状態になります。すべてのリソースがクリーンアップされると、TERMINATED 状態に移行します。

セキュリティグループの作成 で作成したノートブックセキュリティグループを他の Jupyter Notebook デプロイに使用する予定がない場合は、削除できます。詳細については、「Amazon EC2 User Guide」の「Delete a security group」を参照してください。