Tutorial: Memulai dengan AWS Batch di Amazon EKS

AWS Batch di Amazon EKS adalah layanan terkelola untuk menjadwalkan dan menskalakan beban kerja batch ke dalam klaster Amazon EKS yang ada. AWS Batch tidak membuat, mengelola, atau menjalankan operasi siklus hidup klaster Amazon EKS Anda atas nama Anda. AWS Batch skala orkestrasi naik dan turun node yang dikelola oleh AWS Batch dan menjalankan pod pada node tersebut.

AWS Batch tidak menyentuh node, grup node penskalaan otomatis, atau siklus hidup pod yang tidak terkait dengan AWS Batch lingkungan komputasi dalam klaster Amazon EKS Anda. AWS Batch Agar dapat beroperasi secara efektif, peran terkait layanannya perlu Kubernetes izin kontrol akses berbasis peran (RBAC) di klaster Amazon EKS Anda yang ada. Untuk informasi selengkapnya, lihat Menggunakan Otorisasi RBAC di Kubernetes dokumentasi.

AWS Batch membutuhkan Kubernetes namespace di mana ia dapat mencakup pod sebagai AWS Batch pekerjaan ke dalam. Kami merekomendasikan namespace khusus untuk mengisolasi AWS Batch pod dari beban kerja klaster Anda yang lain.

Setelah AWS Batch diberi akses RBAC dan namespace telah dibuat, Anda dapat mengaitkan klaster Amazon EKS tersebut ke lingkungan AWS Batch komputasi menggunakan operasi API. CreateComputeEnvironment Antrian pekerjaan dapat dikaitkan dengan lingkungan komputasi Amazon EKS baru ini. AWS Batch pekerjaan dikirimkan ke antrian pekerjaan berdasarkan definisi pekerjaan Amazon EKS menggunakan operasi SubmitJobAPI. AWS Batch kemudian meluncurkan node yang AWS Batch dikelola dan menempatkan pekerjaan dari antrian pekerjaan sebagai Kubernetes pod ke dalam kluster EKS yang terkait dengan lingkungan AWS Batch komputasi.

Bagian berikut mencakup cara menyiapkan AWS Batch di Amazon EKS.

Prasyarat

Sebelum memulai tutorial ini, Anda harus menginstal dan mengkonfigurasi alat dan sumber daya berikut yang Anda butuhkan untuk membuat AWS Batch dan mengelola sumber daya Amazon EKS.

Siapkan cluster Amazon EKS Anda untuk AWS Batch

Semua langkah diperlukan.

Buat lingkungan komputasi Amazon EKS

AWS Batch lingkungan komputasi menentukan parameter sumber daya komputasi untuk memenuhi kebutuhan beban kerja batch Anda. Dalam lingkungan komputasi terkelola, AWS Batch membantu Anda mengelola kapasitas dan jenis instans sumber daya komputasi (Kubernetes node) dalam cluster Amazon EKS Anda. Ini didasarkan pada spesifikasi sumber daya komputasi yang Anda tentukan ketika membuat lingkungan komputasi. Anda dapat menggunakan Instans EC2 Sesuai Permintaan atau Instans EC2 Spot.

Sekarang itu AWSServiceRoleForBatchperan terkait layanan memiliki akses ke kluster Amazon EKS Anda, Anda dapat membuat AWS Batch sumber daya. Pertama, buat lingkungan komputasi yang mengarah ke cluster Amazon EKS Anda.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:<region>:123456789012:cluster/<cluster-name>",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Buat antrian pekerjaan dan lampirkan lingkungan komputasi

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Pekerjaan yang dikirimkan ke antrean pekerjaan baru ini dijalankan sebagai pod pada node AWS Batch terkelola yang bergabung dengan klaster Amazon EKS yang terkait dengan lingkungan komputasi Anda.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF
$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Buat definisi pekerjaan

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF
$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Mengirim tugas

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1
$ aws batch describe-jobs --job <jobId-from-submit-response>

(Opsional) Kirim pekerjaan dengan penggantian

Pekerjaan ini mengesampingkan perintah yang diteruskan ke wadah.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
$ aws batch submit-job --cli-input-json file://./submit-job-override.json