Tutoriel : Premiers pas avec AWS Batch Amazon EKS Private Clusters

AWS Batch est un service géré qui orchestre les charges de travail par lots dans vos clusters Amazon Elastic Kubernetes Service (Amazon). EKS Cela inclut la mise en file d'attente, le suivi des dépendances, la gestion des nouvelles tentatives et des priorités des tâches, la gestion des pods et le dimensionnement des nœuds. Cette fonctionnalité connecte votre EKS cluster Amazon privé existant AWS Batch pour exécuter vos tâches à grande échelle. Vous pouvez utiliser eksctl(une interface de ligne de commande pour AmazonEKS), la AWS console ou le AWS Command Line Interfacepour créer un EKS cluster Amazon privé avec toutes les autres ressources nécessaires. Support pour les EKS clusters Amazon privés sur AWS Batch est généralement disponible dans le commerce, Régions AWS là où AWS Batch il est disponible.

Les clusters Amazon EKS Private Only n'ont aucun accès Internet entrant/sortant et ne disposent que de sous-réseaux privés. Les VPC points de terminaison Amazon sont utilisés pour permettre un accès privé à d'autres AWS services. eksctlprend en charge la création de clusters entièrement privés à l'aide d'un Amazon VPC et de sous-réseaux préexistants. eksctlcrée également des VPC points de terminaison Amazon dans l'Amazon fourni VPC et modifie les tables de routage pour les sous-réseaux fournis.

Chaque sous-réseau doit être associé à une table de routage explicite, car cela eksctl ne modifie pas la table de routage principale. Votre cluster doit extraire des images d'un registre de conteneurs qui se trouve sur votre AmazonVPC. Vous pouvez également créer un Amazon Elastic Container Registry dans votre Amazon VPC et y copier des images de conteneurs pour que vos nœuds puissent les extraire. Pour plus d'informations, voir Copier une image de conteneur d'un référentiel vers un autre référentiel. Pour commencer à utiliser les référentiels ECR privés Amazon, consultez la section Dépôts ECR privés Amazon.

Vous pouvez éventuellement créer une règle de cache d'extraction avec AmazonECR. Une fois qu'une règle de cache d'extraction est créée pour un registre public externe, vous pouvez extraire une image de ce registre public externe à l'aide de votre identifiant de ressource uriform () de votre registre ECR privé Amazon. URI Amazon ECR crée ensuite un référentiel et met l'image en cache. Lorsqu'une image mise en cache est extraite à l'aide du registre ECR privé AmazonURI, Amazon ECR vérifie dans le registre distant s'il existe une nouvelle version de l'image et met à jour votre registre privé jusqu'à une fois toutes les 24 heures.

Prérequis

Avant de commencer ce didacticiel, vous devez installer et configurer les outils et ressources suivants dont vous avez besoin pour créer et gérer à la fois les EKS ressources Amazon AWS Batch et celles d'Amazon. Vous devez également créer toutes les ressources nécessairesVPC, notamment les sous-réseaux, les tables de routage, les points de VPC terminaison et le cluster Amazon. EKS Vous devez utiliser le AWS CLI.

Préparez votre EKS cluster pour AWS Batch

Toutes les étapes sont obligatoires.

Création d'un environnement EKS informatique Amazon

AWS Batch les environnements informatiques définissent les paramètres des ressources de calcul pour répondre à vos besoins en matière de charge de travail par lots. Dans un environnement informatique géré, vous AWS Batch aide à gérer la capacité et les types d'instances des ressources de calcul (Kubernetes nœuds) au sein de votre EKS cluster Amazon. Ceci est basé sur la spécification des ressources de calcul que vous définissez lors de la création de l'environnement de calcul. Vous pouvez utiliser des instances EC2 à la demande ou des instances EC2 ponctuelles.

Maintenant que le AWSServiceRoleForBatchle rôle lié à un service a accès à votre EKS cluster Amazon, vous pouvez créer des AWS Batch ressources. Créez d'abord un environnement informatique qui pointe vers votre EKS cluster Amazon.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:<region>:123456789012:cluster/<cluster-name>",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-the-image-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Créez une file d'attente de tâches et associez l'environnement de calcul

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Les tâches soumises à cette nouvelle file d'attente sont exécutées en tant que modules sur des nœuds AWS Batch gérés qui ont rejoint le EKS cluster Amazon associé à votre environnement informatique.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF
$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Créer une définition de tâche

Dans le champ image de la définition du travail, au lieu de fournir un lien vers une image dans un ECR référentiel public, fournissez le lien vers l'image stockée dans notre ECR référentiel privé. Consultez l'exemple de définition de tâche suivant :

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "account-id.dkr.ecr.region.amazonaws.com/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF
$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Pour exécuter les commandes kubectl, vous devez disposer d'un accès privé à votre cluster AmazonEKS. Cela signifie que tout le trafic vers votre API serveur de cluster doit provenir du réseau de votre cluster VPC ou d'un réseau connecté.

Envoi d’une tâche

$ aws batch submit-job - -job-queue My-Eks-JQ1 \
    - -job-definition MyJobOnEks_Sleep - -job-name My-Eks-Job1
$ aws batch describe-jobs - -job <jobId-from-submit-response>

(Facultatif) Soumettez une tâche avec des dérogations

Cette tâche remplace la commande transmise au conteneur.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
$ aws batch submit-job - -cli-input-json file://./submit-job-override.json

Résolution des problèmes

Si les nœuds lancés par AWS Batch n'ont pas accès au ECR référentiel Amazon (ou à tout autre référentiel) qui stocke votre image, vos tâches peuvent rester dans STARTING cet état. Cela est dû au fait que le module ne pourra pas télécharger l'image et exécuter votre AWS Batch tâche. Si vous cliquez sur le nom du pod lancé par, AWS Batch vous devriez pouvoir voir le message d'erreur et confirmer le problème. Le message d'erreur doit ressembler à ce qui suit :

Failed to pull image "public.ecr.aws/amazonlinux/amazonlinux:2": rpc error: code =
Unknown desc = failed to pull and unpack image
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to resolve reference
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to do request: Head
"https://public.ecr.aws/v2/amazonlinux/amazonlinux/manifests/2": dial tcp: i/o timeout

Pour d'autres scénarios de dépannage courants, consultez la section Résolution des problèmes AWS Batch. Pour résoudre les problèmes liés à l'état du pod, consultez Comment résoudre les problèmes liés à l'état du pod sur Amazon ? EKS .