チュートリアル: Amazon EKS で AWS Batch の使用を開始する

Amazon EKS における AWS Batch は、既存の Amazon EKS クラスターにバッチワークロードをスケジュールおよびスケーリングするためのマネージドサービスです。AWS Batch が、ユーザーに代わって Amazon EKS クラスターの作成、管理、ライフサイクル操作を行うことはありません。AWS Batch オーケストレーションは、AWS Batch が管理するノードのスケールアップとスケールダウンを行い、それらのノード上でポッドを実行します。

AWS Batch は、Amazon EKS クラスター内の AWS Batch コンピューティング環境に関連付けられていないノード、自動スケーリングノードグループ、またはポッドライフサイクルには影響しません。AWS Batch を効果的に動作させるには、そのサービスにリンクされたロールに、既存の Amazon EKS クラスター内における Kubernetes ロールベースのアクセス制御 (RBAC) 権限が必要になります。詳細については、「Kubernetes ドキュメント」の「RBAC 認可を使用する」を参照してください。

AWS Batch には、ポッドを Kubernetes ジョブとしてスコープできる AWS Batch 名前空間が必要です。AWS Batch ポッドを他のクラスターワークロードから分離するために、専用の名前空間を使用することをお勧めします。

AWS Batch に RBAC アクセス権が付与され、名前空間が確立されたら、CreateComputeEnvironment API オペレーションを使用してその Amazon EKS クラスターを AWS Batch コンピューティング環境に関連付けることができます。ジョブキューをこの新しい Amazon EKS コンピューティング環境に関連付けることができます。AWS Batch ジョブは、SubmitJob API オペレーションを使用して Amazon EKS ジョブ定義に基づいてジョブキューに送信されます。次に、AWS Batch は AWS Batch マネージドノードを起動し、ジョブキューにあるジョブを Kubernetes ポッドとして AWS Batch コンピューティング環境に関連付けられた EKS クラスターに配置します。

以下のセクションでは、Amazon EKS で AWS Batch を設定する方法について説明します。

前提条件

このチュートリアルを開始する前に、AWS Batch と Amazon EKS リソースの両方を作成して管理する上で必要な次のツールとリソースを、インストールおよび設定しておく必要があります。

AWS Batch の Amazon EKS クラスターを準備する

すべての手順を実行する必要があります。

Amazon EKS コンピュート環境を作成する

AWS Batch コンピューティング環境は、バッチワークロードのニーズを満たすコンピューティングリソースパラメータを定義します。マネージドコンピューティング環境では、AWS Batch はAmazon EKS クラスター内のコンピューティングリソース (Kubernetes ノード) の容量とインスタンスタイプを管理します。これは、コンピューティング環境の作成時に定義するコンピューティングリソースの仕様に基づいています。EC2 オンデマンドインスタンスまたは EC2 スポットインスタンスを選択できます。

AWSServiceRoleForBatch サービスにリンクされたロールが Amazon EKS クラスターにアクセスできるようになったので、AWS Batch リソースを作成できます。まず、Amazon EKS クラスターを指すコンピューティング環境を作成します。

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:<region>:123456789012:cluster/<cluster-name>",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

ジョブキューを作成してコンピューティング環境をアタッチする

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

この新しいジョブキューに送信されたジョブは、コンピューティング環境に関連付けられた Amazon EKS クラスターに結合された AWS Batch マネージドノードでポッドとして実行されます。

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF
$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

ジョブ定義を作成する

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF
$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

ジョブを送信する

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1
$ aws batch describe-jobs --job <jobId-from-submit-response>

(オプション) オーバーライドを含むジョブを送信する

このジョブは、コンテナに渡されたコマンドをオーバーライドします。

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
$ aws batch submit-job --cli-input-json file://./submit-job-override.json