Tutoriel : Création d'une définition de tâche parallèle à nœuds multiples sur Amazon Resources EC2

Pour créer une définition de tâche parallèle à nœuds multiples sur Amazon EC2 Resources :

1. Ouvrez la AWS Batch console à l'adresse https://console.aws.amazon.com/batch/.

2. Dans la barre de navigation, sélectionnez le Région AWS à utiliser.

3. Dans le volet de navigation, choisissez Job definitions.

4. Sélectionnez Create (Créer).

5. Pour le type d'orchestration, choisissez Amazon Elastic Compute Cloud (AmazonEC2).

6. Pour activer le parallélisme entre nœuds multiples, activez le mode parallèle entre nœuds multiples.

7. Dans Nom, entrez un nom unique pour votre définition de tâche. Le nom peut comporter jusqu'à 128 caractères et peut contenir des lettres majuscules et minuscules, des chiffres, des traits d'union (-) et des traits de soulignement (_).

8. (Facultatif) Pour le délai d'exécution, spécifiez le nombre maximal de secondes pendant lesquelles vous souhaitez que les tentatives de travail s'exécutent. Si une tentative dépasse le délai imparti, elle est arrêtée et passe à un FAILED statut. Pour de plus amples informations, veuillez consulter Expiration des délais d'exécution des tâches.

9. (Facultatif) Activez la priorité de planification. Entrez une valeur de priorité de planification comprise entre 0 et 100. Les valeurs les plus élevées ont une priorité plus élevée que les valeurs faibles.

10. (Facultatif) Pour les tentatives de tâche, entrez le nombre de AWS Batch tentatives de transfert de la tâche vers le RUNNABLE statut. Entrez un nombre compris entre 1 et 10.

11. (Facultatif) Pour les conditions de la stratégie Réessayer, choisissez Ajouter une évaluation à la sortie. Entrez au moins une valeur de paramètre, puis choisissez une action. Pour chaque ensemble de conditions, l'action doit être définie sur Réessayer ou sur Quitter. Ces actions signifient ce qui suit :

    • Réessayer — AWS Batch Réessaie jusqu'à ce que le nombre de tentatives de travail que vous avez spécifié soit atteint.

    • Quitter : AWS Batch arrête de réessayer la tâche.

    Important

    Si vous choisissez Ajouter une évaluation à la sortie, vous devez configurer au moins un paramètre et soit choisir une action, soit choisir Supprimer l'évaluation à la sortie.

12. (Facultatif) Développez les balises, puis choisissez Ajouter une balise pour ajouter des balises à la ressource. Entrez une clé et une valeur facultative, puis choisissez Ajouter une étiquette. Vous pouvez également activer les balises Propagate pour propager les balises de la tâche et de la définition de la tâche vers la tâche AmazonECS.

13. Choisissez Page suivante.

14. Pour Nombre de nœuds, saisissez le nombre total de nœuds à utiliser pour la tâche.

15. Pour Nœud principal, saisissez l'index de nœud à utiliser pour le nœud principal. L'index de nœud principal par défaut est 0.

16. Pour Type d'instance, choisissez un type d'instance.

    Note

    Le type d'instance que vous choisissez s'applique à tous les nœuds.

17. Pour Paramètres, choisissez Ajouter des paramètres pour ajouter des espaces réservés de substitution de paramètres sous forme de paires clé et valeur facultatives.

18. Dans la section Plages de nœuds :

    1. Sélectionnez Ajouter une plage de nœuds. Cela crée une section de plage de nœuds.

    2. Pour Nœuds cible, spécifiez la plage de votre groupe de nœuds, en utilisant la notation range_start:range_end.

       Vous pouvez créer jusqu'à cinq plages de nœuds pour les nœuds que vous avez spécifiés pour votre tâche. Les plages de nœuds utilisent la valeur d'index d'un nœud et l'index de nœud commence à 0. Assurez-vous que la valeur de l'indice de fin de plage de votre groupe de nœuds final est inférieure d'un au nombre de nœuds que vous avez spécifié. Supposons, par exemple, que vous ayez spécifié 10 nœuds et que vous souhaitiez utiliser un seul groupe de nœuds. Ensuite, votre fourchette finale est 9.

    3. Pour Image, choisissez le Docker image à utiliser pour votre travail. Par défaut, les images du Docker Hub les registres sont disponibles. Vous pouvez également spécifier d'autres référentiels avec repository-url/image:tag. Le nom peut comporter jusqu'à 225 caractères. Il peut contenir des lettres majuscules et minuscules, des chiffres, des traits d'union (-), des traits de soulignement (_), des deux-points (:), des barres obliques (/) et des signes numériques (#). Ce paramètre correspond Image à la section Créer un conteneur de Docker Remote API et au IMAGE paramètre de docker run.

       Note

       Docker l'architecture de l'image doit correspondre à l'architecture du processeur des ressources de calcul sur lesquelles elles sont planifiées. Par exemple, Arm basé Docker les images ne peuvent être exécutées que sur Arm ressources informatiques basées sur des ressources informatiques.

       • Les images stockées dans les référentiels Amazon ECR Public utilisent les conventions complètes registry/repository[:tag] ou de registry/repository[@digest] dénomination (par exemple,public.ecr.aws/registry_alias/my-web-app:latest).

       • Les images stockées dans ECR les référentiels Amazon utilisent la convention de registry/repository[:tag] dénomination complète. Par exemple, aws_account_id.dkr.ecr.region.amazonaws.com/my-web-app:latest

       • Images dans les référentiels officiels sur Docker Hub utilisez un seul nom (par exemple, ubuntu oumongo).

       • Images dans d'autres référentiels sur Docker Hub sont qualifiés par le nom d'une organisation (par exemple,amazon/amazon-ecs-agent).

       • Les images dans les autres référentiels en ligne sont qualifiées par un nom de domaine (par exemple, quay.io/assemblyline/ubuntu).

    4. Pour la syntaxe des commandes, choisissez Bash ou JSON.

    5. Dans Commande, précisez la commande à transmettre au conteneur. Pour les commandes simples, vous pouvez saisir la commande comme vous le feriez à l'invite de commande dans l'onglet Espace délimité. Vérifiez ensuite que le JSON le résultat est correct. Le JSON résultat est transmis au Docker daemon. Pour les commandes plus complexes (par exemple, avec des caractères spéciaux), vous pouvez passer à l'JSONonglet et y saisir le tableau de chaînes équivalent.

       Ce paramètre correspond Cmd à la section Créer un conteneur de Docker Remote API et le COMMAND paramètre à docker run. Pour plus d'informations sur le Docker CMDparamètre, voir https://docs.docker.com/engine/reference/builder/ #cmd.

       Note

       Vous pouvez utiliser des valeurs par défaut pour la substitution de paramètres et des espaces réservés dans votre commande. Pour de plus amples informations, veuillez consulter Paramètres.

    6. Pour vCPUs, spécifiez le nombre de vCPUs à réserver pour le conteneur. Ce paramètre correspond CpuShares à la section Créer un conteneur de Docker Remote API et à l'--cpu-sharesoption de docker run. Chaque v CPU équivaut à 1 024 CPU actions. Vous devez spécifier au moins un CPU v.

    7. Dans Mémoire, précisez la limite stricte (en Mio) de la mémoire à présenter au conteneur de la tâche. Si votre conteneur tente de dépasser la mémoire spécifiée ici, il est arrêté. Ce paramètre correspond Memory à la section Créer un conteneur de Docker Remote API et à l'--memoryoption de docker run. Vous devez spécifier au moins 4 Mio de mémoire pour une tâche.

       Note

       Pour optimiser l'utilisation de vos ressources, vous pouvez fournir à vos tâches autant de mémoire que possible pour un type d'instance spécifique. Pour de plus amples informations, veuillez consulter Gestion de la mémoire des ressources informatiques.

    8. (Facultatif) Dans le champ Nombre de GPUs, spécifiez le nombre d'utilisations de GPUs votre travail. La tâche s'exécute sur un conteneur dont le nombre spécifié GPUs est épinglé à ce conteneur.

    9. (Facultatif) Pour le rôle Job, vous pouvez spécifier un IAM rôle qui fournit au conteneur de votre tâche l'autorisation d'utiliser le AWS APIs. Cette fonctionnalité utilise les ECS IAM rôles Amazon pour la fonctionnalité des tâches. Pour plus d'informations, notamment sur les prérequis de configuration, consultez la section IAMRôles des tâches du manuel Amazon Elastic Container Service Developer Guide.

       Note

       Pour les tâches exécutées sur les ressources Fargate, un rôle de tâche est requis.

       Note

       Seuls les rôles dotés d'une relation de confiance avec Amazon Elastic Container Service Task Role sont présentés ici. Pour plus d'informations sur la création d'un IAM rôle pour vos AWS Batch tâches, consultez les sections Création d'un IAM rôle et d'une politique pour vos tâches dans le manuel Amazon Elastic Container Service Developer Guide.

    10. (Facultatif) Pour le rôle d'exécution, spécifiez un IAM rôle qui accorde aux agents de ECS conteneurs Amazon l'autorisation de passer AWS API des appels en votre nom. Cette fonctionnalité utilise les ECS IAM rôles Amazon pour la fonctionnalité des tâches. Pour plus d'informations, consultez les IAMrôles d'exécution des ECS tâches Amazon dans le manuel Amazon Elastic Container Service Developer Guide.

19. (Facultatif) Développez la configuration supplémentaire :

    1. Pour les variables d'environnement, choisissez Ajouter une variable d'environnement pour ajouter des variables d'environnement sous forme de paires nom-valeur. Ces variables sont transmises au conteneur.

    2. Pour la configuration du rôle Job, vous pouvez spécifier un IAM rôle qui fournit au conteneur de votre job l'autorisation d'utiliser le AWS APIs. Cette fonctionnalité utilise les ECS IAM rôles Amazon pour la fonctionnalité des tâches. Pour plus d'informations, notamment sur les prérequis de configuration, consultez la section IAMRôles des tâches du manuel Amazon Elastic Container Service Developer Guide.

       Note

       Pour les tâches exécutées sur les ressources Fargate, un rôle de tâche est requis.

       Note

       Seuls les rôles dotés d'une relation de confiance avec Amazon Elastic Container Service Task Role sont présentés ici. Pour plus d'informations sur la création d'un IAM rôle pour vos AWS Batch tâches, consultez les sections Création d'un IAM rôle et d'une politique pour vos tâches dans le manuel Amazon Elastic Container Service Developer Guide.

    3. Pour le rôle d'exécution, spécifiez un IAM rôle qui accorde aux agents de ECS conteneurs Amazon l'autorisation de passer AWS API des appels en votre nom. Cette fonctionnalité utilise les ECS IAM rôles Amazon pour la fonctionnalité des tâches. Pour plus d'informations, consultez les IAMrôles d'exécution des ECS tâches Amazon dans le manuel Amazon Elastic Container Service Developer Guide.

20. Dans la section Configuration de sécurité :

    1. (Facultatif) Pour accorder au conteneur de votre tâche des privilèges élevés sur l'instance hôte (similaires à ceux de l'rootutilisateur), activez Privileged. Ce paramètre correspond Privileged à la section Créer un conteneur de Docker Remote API et à l'--privilegedoption de docker run.

    2. (Facultatif) Dans Utilisateur, entrez le nom d'utilisateur à utiliser dans le conteneur. Ce paramètre correspond User à la section Créer un conteneur de Docker Remote API et à l'--useroption de docker run.

    3. (Facultatif) Pour les secrets, choisissez Ajouter un secret pour ajouter des secrets sous forme de paires nom-valeur. Ces secrets sont exposés dans le contenant. Pour plus d'informations, voir LogConfiguration: secretOptions.

21. Dans la section de configuration Linux :

    1. Activez l'option Activer le système de fichiers en lecture seule pour supprimer l'accès en écriture au volume.

    2. (Facultatif) Activez Activer init processus pour exécuter un init processus à l'intérieur du conteneur. Ce processus transmet les signaux et récolte les processus.

    3. Pour Taille de la mémoire partagée, entrez la taille (en MiB) du /dev/shm volume.

    4. Pour Taille maximale de swap, entrez la quantité totale de mémoire d'échange (en MiB) que le conteneur peut utiliser.

    5. Pour Swappiness, entrez une valeur comprise entre 0 et 100 pour indiquer le comportement de swappiness du conteneur. Si vous ne spécifiez aucune valeur et que l'échange est activé, la valeur par défaut est 60. Pour plus d'informations, consultez : LinuxParameters swappiness.

    6. (Facultatif) Pour Appareils, choisissez Ajouter un appareil pour ajouter un appareil :

       1. Sous Chemin du conteneur, spécifiez le chemin d'accès de l'instance du conteneur pour exposer l'appareil mappé à l'instance de l'hôte. Si vous laissez ce champ vide, le chemin de l'hôte est utilisé dans le conteneur.

       2. Sous Host path (Chemin de l'hôte), spécifiez le chemin d'accès d'un appareil dans l'instance de l'hôte.

       3. Pour Autorisations, choisissez une ou plusieurs autorisations à appliquer à l'appareil. Les autorisations disponibles sont READWRITE, et MKNOD.

22. (Facultatif) Pour les points de montage, choisissez Ajouter une configuration de points de montage pour ajouter des points de montage pour les volumes de données. Vous devez spécifier le volume source et le chemin du conteneur. Ces points de montage sont transmis au Docker daemon sur une instance de conteneur. Vous pouvez également choisir de rendre le volume en lecture seule.

23. (Facultatif) Pour la configuration Ulimits, choisissez Add ulimit pour ajouter une ulimits valeur au conteneur. Entrez les valeurs Nom, Limite souple et Limite stricte, puis choisissez Ajouter une limite.

24. (Facultatif) Pour la configuration des volumes, choisissez Ajouter un volume pour créer une liste de volumes à transmettre au conteneur. Entrez le nom et le chemin source du volume, puis choisissez Ajouter un volume. Vous pouvez également choisir d'activer Activer EFS.

25. (Facultatif) Pour les fichiers Tmpfs, choisissez Ajouter des fichiers tmpfs pour ajouter un montage. tmpfs

26. (Facultatif) Dans la section Configuration de la journalisation :

    1. Pour Log driver, choisissez le log driver à utiliser. Pour plus d'informations sur les pilotes de journal disponibles, voir LogConfiguration: logDriver.

       Note

       Par défaut, le pilote de awslogs journal est utilisé.

    2. Pour Options, choisissez Ajouter une option pour ajouter une option. Entrez une paire nom-valeur, puis choisissez Ajouter une option.

    3. Pour Secrets, choisissez Ajouter un secret. Entrez une paire nom-valeur, puis choisissez Ajouter un secret pour ajouter un secret.

       Astuce

       Pour plus d'informations, voir LogConfiguration: secretOptions.

27. Choisissez Page suivante.

28. Pour la révision de la définition du Job, passez en revue les étapes de configuration. Si vous devez apporter des modifications, choisissez Modifier. Lorsque vous avez terminé, choisissez Créer une définition de tâche.