使用自助託管的 Jupyter 筆記本

建立命名空間，以執行筆記本伺服器。

在本機建立檔案 notebook.yaml，其中具有以下內容。檔案內容如下所述。

apiVersion: v1
kind: Pod
metadata:
  name: jupyter-notebook
  namespace: namespace
spec:
  containers:
  - name: minimal-notebook
    image: jupyter/all-spark-notebook:lab-3.1.4 # open source image 
    ports:
    - containerPort: 8888
    command: ["start-notebook.sh"]
    args: ["--LabApp.token=''"]
    env:
    - name: JUPYTER_ENABLE_LAB
      value: "yes"
    - name: KERNEL_LAUNCH_TIMEOUT
      value: "400"
    - name: JUPYTER_GATEWAY_URL
      value: "serverUrl"
    - name: JUPYTER_GATEWAY_VALIDATE_CERT
      value: "false"
    - name: JUPYTER_GATEWAY_AUTH_TOKEN
      value: "session-token"

如果您要將 Jupyter 筆記本部署到僅限 Fargate 的叢集，請使用 role 標籤來標記 Jupyter Pod，如下列範例所示：

...
metadata:
  name: jupyter-notebook
  namespace: default
  labels:
    role: example-role-name-label
spec:
            ...

將 Pod 規格部署到您的 Amazon EKS叢集：

kubectl apply -f notebook.yaml -n namespace

這將啟動在EMREKS互動式端點上連接至 Amazon 的最小 JupyterLab 筆記本。等待直到 Pod RUNNING。 您可以使用下列命令來檢查其狀態：

kubectl get pod jupyter-notebook -n namespace

當 Pod 準備就緒時，get pod 命令會傳回類似以下輸出：

NAME              READY  STATUS   RESTARTS  AGE
jupyter-notebook  1/1    Running  0         46s

將筆記本安全群組附接至排程筆記本所在的節點。

1. 首先，使用 describe pod 命令識別在其中排程 jupyter-notebook Pod 的節點。

   kubectl describe pod jupyter-notebook -n namespace

2. 開啟位於 https://console.aws.amazon.com/eks/home#/clusters 的 Amazon EKS主控台。

3. 導覽至 Amazon EKS叢集的運算索引標籤，然後選取 describe pod命令識別的節點。選取節點的執行個體 ID。

4. 從動作功能表中，選取安全性 > 變更安全群組，以附接您在 建立安全群組 中建立的安全群組。

5. 如果您要在 上部署 Jupyter 筆記本 Pod AWS Fargate，請建立 SecurityGroupPolicy 以套用至具有角色標籤的 Jupyter 筆記本 Pod：

   cat >my-security-group-policy.yaml <<EOF
   apiVersion: vpcresources.k8s.aws/v1beta1
   kind: SecurityGroupPolicy
   metadata:
     name: example-security-group-policy-name
     namespace: default
   spec:
     podSelector:
       matchLabels:
         role: example-role-name-label
     securityGroups:
       groupIds:
         - your-notebook-security-group-id
   EOF

現在，連接埠轉送可讓您本機存取 JupyterLab 介面：

kubectl port-forward jupyter-notebook 8888:8888 -n namespace

執行後，導覽至本機瀏覽器並造訪 localhost:8888以查看 JupyterLab 介面：

從 JupyterLab建立新的 Scala 筆記本。以下是程式碼片段範例，您可以執行它以接近 Pi 的值：

import scala.math.random
import org.apache.spark.sql.SparkSession

/** Computes an approximation to pi */
val session = SparkSession
  .builder
  .appName("Spark Pi")
  .getOrCreate()

val slices = 2
// avoid overflow
val n = math.min(100000L * slices, Int.MaxValue).toInt 
 
val count = session.sparkContext
.parallelize(1 until n, slices)
.map { i =>
  val x = random * 2 - 1
  val y = random * 2 - 1
  if (x*x + y*y <= 1) 1 else 0
}.reduce(_ + _)

println(s"Pi is roughly ${4.0 * count / (n - 1)}")
session.stop()

使用下列命令來刪除 jupyter-notebook Pod：

kubectl delete pod jupyter-notebook -n namespace

然後，使用 delete-managed-endpoint 命令刪除互動端點。如需有關刪除互動端點的步驟，請參閱 刪除互動端點。最初，您的端點將位於 TERMINATING 狀態。清除所有資源後，便會轉換為 TERMINATED 狀態。

如果不打算將您在 建立安全群組 中建立的筆記本安全群組用於其他 Jupyter 筆記本部署，則可以將其刪除。如需詳細資訊，請參閱 Amazon EC2使用者指南中的刪除安全群組。