教程：开始使用 Amazon EKS 私有集群上的 AWS Batch

AWS Batch 是一项托管服务，可编排 Amazon Elastic Kubernetes Service（Amazon EKS）集群中的批处理工作负载。该服务包括队列、依赖项跟踪、托管作业重试次数和优先级、容器组（pod）管理和节点扩展。此功能可将您现有的私有 Amazon EKS 集群与 AWS Batch 连接起来，从而大规模运行您的作业。您可以使用 eksctl（Amazon EKS 的命令行界面）、AWS 控制台或创建包含所有其他必要资源的私有 Amazon EKS 集群的 AWS Command Line Interface。对 AWS Batch 上的私有 Amazon EKS 集群的支持已在在提供了 AWS Batch 的商用 AWS 区域中正式推出。

Amazon EKS 仅限私有集群没有入站/出站互联网访问权限，且只有私有子网。Amazon VPC 端点用于允许私有访问其他 AWS 服务。eksctl 支持使用预先存在的 Amazon VPC 和子网创建完全私有的集群。eksctl 还会在提供的 Amazon VPC 中创建 Amazon VPC 端点，并修改所提供子网的路由表。

每个子网都应有一个与之关联的显式路由表，因为 eksctl 不会修改主路由表。您的集群必须从 Amazon VPC 中的容器注册表中拉取映像。同样，您可以在 Amazon VPC 中创建 Amazon Elastic Container Registry，并将容器映像复制到其中，以供节点拉取。有关更多信息，请参阅将容器映像从一个存储库复制到另一个存储库。要开始使用 Amazon ECR 私有存储库，请参阅 Amazon ECR 私有存储库。

您可以选择使用 Amazon ECR 创建缓存提取规则。为外部公有注册表创建缓存提取规则后，您就可以使用 Amazon ECR 私有注册表统一资源标识符（URI）从该外部公有注册表中提取映像。然后，Amazon ECR 会创建一个存储库并缓存映像。当使用 Amazon ECR 私有注册表 URI 提取缓存映像时，Amazon ECR 会检查远程注册表以查看是否有新版本的映像，并且会最多每 24 小时更新一次您的私有注册表。

先决条件

在开始使用本教程之前，您必须安装并配置创建和管理 AWS Batch 和 Amazon EKS 资源所需的以下工具和资源。您还需要创建所有必要的资源，包括 VPC、子网、路由表、VPC 端点和 Amazon EKS 集群。您需要使用 AWS CLI。

为 AWS Batch 准备您的 EKS 集群

必须完成所有步骤。

创建 Amazon EKS 计算环境

AWS Batch 计算环境定义计算资源参数以满足您的批处理工作负载需求。在托管计算环境中，AWS Batch 用以管理您的 Amazon EKS 集群中计算资源（Kubernetes 节点）的容量和实例类型。这是基于您在创建计算环境时定义的计算资源规范。您可以使用 EC2 按需型实例或 EC2 竞价型实例。

由于 AWSServiceRoleForBatch 服务相关角色可以访问您的 Amazon EKS 集群，您可以创建 AWS Batch 资源。首先，创建一个指向 Amazon EKS 集群的计算环境。

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:<region>:123456789012:cluster/<cluster-name>",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-the-image-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

创建作业队列并连接计算环境

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

提交到这个新作业队列的作业在加入与您的计算环境关联的 Amazon EKS 集群的 AWS Batch 托管节点上以容器组（pod）的形式运行。

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF
$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

创建任务定义

在作业定义的映像字段中，与其提供指向公共 ECR 存储库中映像的链接，不如提供指向我们的私有 ECR 存储库中存储的映像的链接。请参阅以下示例作业定义：

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "account-id.dkr.ecr.region.amazonaws.com/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF
$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

要运行 kubectl 命令，您需要对 Amazon EKS 集群的私有访问权限。这意味着，传输到集群 API 服务器的所有流量都必须来自您的集群的 VPC 或连接的网络中。

提交作业

$ aws batch submit-job - -job-queue My-Eks-JQ1 \
    - -job-definition MyJobOnEks_Sleep - -job-name My-Eks-Job1
$ aws batch describe-jobs - -job <jobId-from-submit-response>

（可选）提交带有优先级的作业

此作业会覆盖传递给容器的命令。

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
$ aws batch submit-job - -cli-input-json file://./submit-job-override.json

故障排除

如果由 AWS Batch 启动的节点无权访问存储您的映像的 Amazon ECR 存储库（或任何其他存储库），则您的作业可能会保持“启动”状态。这是因为容器组（pod）将无法下载映像并运行您的 AWS Batch 作业。如果您点击 AWS Batch 启动的容器组（pod）名称，您应该能够看到错误消息并确认问题。错误消息应该类似于以下内容：

Failed to pull image "public.ecr.aws/amazonlinux/amazonlinux:2": rpc error: code =
Unknown desc = failed to pull and unpack image
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to resolve reference
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to do request: Head
"https://public.ecr.aws/v2/amazonlinux/amazonlinux/manifests/2": dial tcp: i/o timeout

有关其他常见的故障排除方案，请参阅排查 AWS Batch 问题。有关基于容器组（pod）状态的故障排除，请参阅如何对 Amazon EKS 中的容器组（pod）状态进行故障排除？。