Tutorial: Memulai dengan AWS Batch di Amazon EKS Private Clusters

AWS Batch adalah layanan terkelola yang mengatur beban kerja batch di klaster Amazon Elastic Kubernetes Service (Amazon) Anda. EKS Ini termasuk antrian, pelacakan ketergantungan, percobaan ulang dan prioritas pekerjaan terkelola, manajemen pod, dan penskalaan node. Fitur ini menghubungkan EKS kluster Amazon pribadi Anda yang ada AWS Batch untuk menjalankan pekerjaan Anda dalam skala besar. Anda dapat menggunakan eksctl(antarmuka baris perintah untuk AmazonEKS), AWS konsol, atau AWS Command Line Interfaceuntuk membuat EKS cluster Amazon pribadi dengan semua sumber daya lain yang diperlukan. Support untuk EKS cluster Amazon pribadi pada AWS Batch umumnya tersedia dalam komersial Wilayah AWS jika AWS Batch tersedia.

Amazon EKS Private Only Cluster tidak memiliki akses internet inbound/outbound, dan hanya memiliki subnet pribadi. VPCEndpoint Amazon digunakan untuk mengaktifkan akses pribadi ke AWS layanan lain. eksctlmendukung pembuatan cluster yang sepenuhnya pribadi menggunakan Amazon dan subnet yang sudah ada sebelumnya. VPC eksctljuga membuat VPC titik akhir Amazon di Amazon yang disediakan VPC dan memodifikasi tabel rute untuk subnet yang disediakan.

Setiap subnet harus memiliki tabel rute eksplisit yang terkait dengannya karena eksctl tidak mengubah tabel rute utama. Cluster Anda harus menarik gambar dari registri kontainer yang ada di Amazon AndaVPC. Selain itu, Anda dapat membuat Amazon Elastic Container Registry di Amazon Anda VPC dan menyalin gambar kontainer ke sana untuk diambil node Anda. Untuk informasi selengkapnya, lihat Menyalin gambar kontainer dari satu repositori ke repositori lain. Untuk memulai repositori ECR pribadi Amazon, lihat Repositori ECRpribadi Amazon.

Anda dapat secara opsional membuat aturan cache tarik melalui dengan AmazonECR. Setelah aturan cache pull through dibuat untuk registri publik eksternal, Anda dapat menarik gambar dari registri publik eksternal tersebut menggunakan idetifier sumber daya uriform registri ECR pribadi Amazon Anda (). URI Kemudian Amazon ECR membuat repositori dan menyimpan gambar. Ketika gambar yang di-cache ditarik menggunakan registri ECR pribadi AmazonURI, Amazon ECR memeriksa registri jarak jauh untuk melihat apakah ada versi baru gambar dan memperbarui registri pribadi Anda hingga sekali setiap 24 jam.

Prasyarat

Sebelum memulai tutorial ini, Anda harus menginstal dan mengonfigurasi alat dan sumber daya berikut yang Anda butuhkan untuk membuat dan mengelola keduanya AWS Batch dan EKS sumber daya Amazon. Anda juga perlu membuat semua sumber daya yang diperlukan termasukVPC, subnet, tabel rute, titik VPC akhir, dan cluster Amazon. EKS Anda perlu menggunakan AWS CLI.

Siapkan EKS cluster Anda untuk AWS Batch

Semua langkah diperlukan.

Buat lingkungan EKS komputasi Amazon

AWS Batch lingkungan komputasi menentukan parameter sumber daya komputasi untuk memenuhi kebutuhan beban kerja batch Anda. Dalam lingkungan komputasi terkelola, AWS Batch membantu Anda mengelola kapasitas dan jenis instans sumber daya komputasi (Kubernetes node) dalam EKS cluster Amazon Anda. Ini didasarkan pada spesifikasi sumber daya komputasi yang Anda tentukan ketika membuat lingkungan komputasi. Anda dapat menggunakan Instans EC2 Sesuai Permintaan atau Instans EC2 Spot.

Sekarang itu AWSServiceRoleForBatchperan terkait layanan memiliki akses ke EKS klaster Amazon Anda, Anda dapat membuat AWS Batch sumber daya. Pertama, buat lingkungan komputasi yang mengarah ke EKS cluster Amazon Anda.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:<region>:123456789012:cluster/<cluster-name>",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-the-image-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Buat antrian pekerjaan dan lampirkan lingkungan komputasi

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Pekerjaan yang dikirimkan ke antrean pekerjaan baru ini dijalankan sebagai pod pada node AWS Batch terkelola yang bergabung dengan EKS klaster Amazon yang terkait dengan lingkungan komputasi Anda.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF
$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Buat definisi pekerjaan

Di bidang gambar definisi pekerjaan, alih-alih menyediakan tautan ke gambar di ECR repositori publik, berikan tautan ke gambar yang disimpan di repositori pribadi ECR kami. Lihat contoh definisi pekerjaan berikut:

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "account-id.dkr.ecr.region.amazonaws.com/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF
$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Untuk menjalankan perintah kubectl, Anda memerlukan akses pribadi ke cluster Amazon Anda. EKS Ini berarti semua lalu lintas ke API server cluster Anda harus berasal dari dalam kluster Anda VPC atau jaringan yang terhubung.

Mengirim tugas

$ aws batch submit-job - -job-queue My-Eks-JQ1 \
    - -job-definition MyJobOnEks_Sleep - -job-name My-Eks-Job1
$ aws batch describe-jobs - -job <jobId-from-submit-response>

(Opsional) Kirim pekerjaan dengan penggantian

Pekerjaan ini mengesampingkan perintah yang diteruskan ke wadah.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
$ aws batch submit-job - -cli-input-json file://./submit-job-override.json

Pemecahan Masalah

Jika node yang diluncurkan oleh AWS Batch tidak memiliki akses ke ECR repositori Amazon (atau repositori lain) yang menyimpan gambar Anda, maka pekerjaan Anda dapat tetap dalam status. STARTING Ini karena pod tidak akan dapat mengunduh gambar dan menjalankan AWS Batch pekerjaan Anda. Jika Anda mengklik nama pod yang diluncurkan oleh AWS Batch Anda akan dapat melihat pesan kesalahan dan mengonfirmasi masalah. Pesan kesalahan akan terlihat mirip dengan yang berikut:

Failed to pull image "public.ecr.aws/amazonlinux/amazonlinux:2": rpc error: code =
Unknown desc = failed to pull and unpack image
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to resolve reference
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to do request: Head
"https://public.ecr.aws/v2/amazonlinux/amazonlinux/manifests/2": dial tcp: i/o timeout

Untuk skenario pemecahan masalah umum lainnya, lihat Pemecahan masalah. AWS Batch Untuk mengatasi masalah berdasarkan status pod, lihat Bagaimana cara memecahkan masalah status pod di Amazon? EKS .