教學課程：Amazon EKS Private Clusters AWS Batch 入門

AWS Batch 是一項受管服務，可在 Amazon Elastic Kubernetes Service （Amazon EKS） 叢集中協調批次工作負載。這包括佇列、相依性追蹤、受管任務重試和優先順序、Pod 管理和節點擴展。此功能會將現有的私有 Amazon EKS叢集與 連線 AWS Batch ，以大規模執行您的任務。您可以使用 eksctl（Amazon 的命令列介面EKS）、 AWS 主控台或 AWS Command Line Interface來建立具有所有其他必要資源的私有 Amazon EKS叢集。上的私有 Amazon EKS叢集支援 AWS Batch 通常可在AWS 區域AWS Batch商業 中使用。

僅限 Amazon EKS私有叢集沒有傳入/傳出網際網路存取權，而且只有私有子網路。Amazon VPC端點用於啟用對其他服務 AWS 的私有存取。 eksctl支援使用預先存在的 Amazon VPC和子網路建立完全私有叢集。 eksctl也會在提供的 Amazon 中建立 Amazon VPC端點，VPC並修改所提供子網路的路由表。

每個子網路都應有一個與其相關聯的明確路由表，因為 eksctl 不會修改主路由表。您的叢集必須從 Amazon 中的容器登錄檔提取映像VPC。您也可以在 Amazon 中建立 Amazon Elastic Container Registry，VPC並將容器映像複製到其中，讓您的節點從中提取。如需詳細資訊，請參閱將容器映像從一個儲存庫複製到另一個儲存庫。若要開始使用 Amazon ECR私有儲存庫，請參閱 Amazon ECR私有儲存庫。

您可以選擇性地使用 Amazon 建立提取快取規則ECR。為外部公有登錄檔建立提取快取規則後，您可以使用 Amazon ECR私有登錄檔 uriform 資源識別符 （） 從該外部公有登錄檔提取映像URI。然後，Amazon ECR會建立儲存庫並快取映像。使用 Amazon ECR私有登錄檔提取快取映像時URI，Amazon 會ECR檢查遠端登錄檔，查看是否有映像的新版本，並最多每 24 小時更新您的私有登錄檔一次。

必要條件

開始本教學課程之前，您必須安裝並設定下列工具和資源，以建立和管理 AWS Batch 和 Amazon EKS 資源。您也需要建立所有必要的資源，包括 VPC、子網路、路由表、VPC端點和 Amazon EKS叢集。您需要使用 AWS CLI。

準備EKS叢集 AWS Batch

所有步驟都是必要的。

建立 Amazon EKS運算環境

AWS Batch 運算環境定義運算資源參數，以滿足批次工作負載需求。在受管運算環境中， AWS Batch 可協助您管理運算資源 （Kubernetes 節點）EKS。這是以您在建立運算環境時定義的運算資源規格為基礎。您可以使用EC2隨需執行個體或 EC2 Spot 執行個體。

現在， AWSServiceRoleForBatch 服務連結角色可存取您的 Amazon EKS叢集，您可以建立 AWS Batch 資源。首先，建立指向 Amazon EKS叢集的運算環境。

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:<region>:123456789012:cluster/<cluster-name>",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-the-image-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

建立任務佇列並連接運算環境

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

提交至此新任務佇列的任務會在加入與您運算環境相關聯的 Amazon EKS叢集的 AWS Batch 受管節點上，以 Pod 形式執行。

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF
$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

建立任務定義

在任務定義的映像欄位中，提供儲存在我們私有ECR儲存庫中的映像連結，而不是在公有ECR儲存庫中提供映像連結。請參閱下列任務定義範例：

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "account-id.dkr.ecr.region.amazonaws.com/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF
$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

若要執行 kubectl 命令，您將需要 Amazon EKS叢集的私有存取權。這表示到叢集API伺服器的所有流量都必須來自叢集的 VPC或連線的網路 。

提交工作

$ aws batch submit-job - -job-queue My-Eks-JQ1 \
    - -job-definition MyJobOnEks_Sleep - -job-name My-Eks-Job1
$ aws batch describe-jobs - -job <jobId-from-submit-response>

（選用） 提交具有覆寫的任務

此任務會覆寫傳遞至容器的命令。

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
$ aws batch submit-job - -cli-input-json file://./submit-job-override.json

故障診斷

如果 啟動的節點 AWS Batch 無法存取存放映像的 Amazon ECR儲存庫 （或任何其他儲存庫），則您的任務可能會保持 STARTING 狀態。這是因為 Pod 將無法下載映像並執行您的 AWS Batch 任務。如果您按一下 啟動的 Pod 名稱 AWS Batch ，應該能夠看到錯誤訊息並確認問題。錯誤訊息看起來應該類似於以下內容：

Failed to pull image "public.ecr.aws/amazonlinux/amazonlinux:2": rpc error: code =
Unknown desc = failed to pull and unpack image
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to resolve reference
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to do request: Head
"https://public.ecr.aws/v2/amazonlinux/amazonlinux/manifests/2": dial tcp: i/o timeout

如需其他常見的疑難排解案例，請參閱疑難排解 AWS Batch。如需 Pod 狀態的疑難排解基礎，請參閱如何在 Amazon 中對 Pod 狀態進行疑難排解EKS？