使用自托管式 Jupyter notebook

创建命名空间来运行笔记本服务器。

在本地创建文件 notebook.yaml，包含以下内容。文件内容说明如下。

apiVersion: v1
kind: Pod
metadata:
  name: jupyter-notebook
  namespace: namespace
spec:
  containers:
  - name: minimal-notebook
    image: jupyter/all-spark-notebook:lab-3.1.4 # open source image 
    ports:
    - containerPort: 8888
    command: ["start-notebook.sh"]
    args: ["--LabApp.token=''"]
    env:
    - name: JUPYTER_ENABLE_LAB
      value: "yes"
    - name: KERNEL_LAUNCH_TIMEOUT
      value: "400"
    - name: JUPYTER_GATEWAY_URL
      value: "serverUrl"
    - name: JUPYTER_GATEWAY_VALIDATE_CERT
      value: "false"
    - name: JUPYTER_GATEWAY_AUTH_TOKEN
      value: "session-token"

如果您要将 Jupyter notebook 部署到仅限 Fargate 的集群，请使用 role 标签标记 Jupyter Pod，如以下示例所示：

...
metadata:
  name: jupyter-notebook
  namespace: default
  labels:
    role: example-role-name-label
spec:
            ...

将 Pod 规范部署到 Amazon EKS 集群：

kubectl apply -f notebook.yaml -n namespace

这将启动已连接到 Amazon EMR on EKS 交互式端点的最小 JupyterLab notebook。等到 Pod 状态变成 RUNNING。您可以使用以下命令检查其状态：

kubectl get pod jupyter-notebook -n namespace

Pod 准备就绪时，get pod 命令会返回类似于以下内容的输出：

NAME              READY  STATUS   RESTARTS  AGE
jupyter-notebook  1/1    Running  0         46s

将笔记本安全组附加到调度笔记本的节点。

1. 首先，使用 describe pod 命令确定调度 jupyter-notebook Pod 的节点。

   kubectl describe pod jupyter-notebook -n namespace

2. 从以下位置打开 Amazon EKS 控制台：https://console.aws.amazon.com/eks/home#/clusters。

3. 导航到 Amazon EKS 集群的计算选项卡，然后选择 describe pod 命令标识的节点。选择节点的实例 ID。

4. 在操作菜单中，选择安全 > 更改安全组，附加您在 创建安全组 中创建的安全组。

5. 如果您要在 AWS Fargate 上部署 Jupyter notebook Pod，请创建 SecurityGroupPolicy 以应用到带有角色标签的 Jupyter notebook Pod：

   cat >my-security-group-policy.yaml <<EOF
   apiVersion: vpcresources.k8s.aws/v1beta1
   kind: SecurityGroupPolicy
   metadata:
     name: example-security-group-policy-name
     namespace: default
   spec:
     podSelector:
       matchLabels:
         role: example-role-name-label
     securityGroups:
       groupIds:
         - your-notebook-security-group-id
   EOF

现在，进行端口转发，以便可以在本地访问 JupyterLab 接口：

kubectl port-forward jupyter-notebook 8888:8888 -n namespace

运行后，导航到本地浏览器并访问 localhost:8888 以查看 JupyterLab 界面：

在 JupyterLab 中，创建新的 Scala notebook。下面是一个示例代码片段，您可以运行它来近似计算 Pi 的值：

import scala.math.random
import org.apache.spark.sql.SparkSession

/** Computes an approximation to pi */
val session = SparkSession
  .builder
  .appName("Spark Pi")
  .getOrCreate()

val slices = 2
// avoid overflow
val n = math.min(100000L * slices, Int.MaxValue).toInt 
 
val count = session.sparkContext
.parallelize(1 until n, slices)
.map { i =>
  val x = random * 2 - 1
  val y = random * 2 - 1
  if (x*x + y*y <= 1) 1 else 0
}.reduce(_ + _)

println(s"Pi is roughly ${4.0 * count / (n - 1)}")
session.stop()

使用以下命令删除 jupyter-notebook Pod：

kubectl delete pod jupyter-notebook -n namespace

然后，使用 delete-managed-endpoint 命令删除交互式端点。有关删除交互式端点的步骤，请参阅 删除交互式端点。最初，您的端点处于 TERMINATING 状态。清理完所有资源后，它将转换到 TERMINATED 状态。

如果您不打算将在 创建安全组 中创建的笔记本安全组用于其他 Jupyter notebook 部署，则可以将其删除。有关更多信息，请参阅《Amazon EC2 用户指南》中的删除安全组。