Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Surveillance des tâches
Vous pouvez utiliser Amazon CloudWatch Events pour suivre les tâches exécutées sur un cluster EKS virtuel AmazonEMR. Vous pouvez utiliser les événements pour suivre l'activité et l'état des tâches que vous exécutez sur un cluster virtuel. Les rubriques suivantes vous montrent comment configurer efficacement la surveillance afin de préserver l'intégrité de vos ressources.
Rubriques
Surveillez les offres d'emploi avec Amazon CloudWatch Events
Amazon EMR on EKS émet des événements lorsque l'état d'une exécution de tâche change. Chaque événement fournit des informations, telles que la date et l'heure auxquelles l'événement s'est produit, ainsi que d'autres détails sur l'événement, tels que l'identifiant du cluster virtuel et l'identifiant de l'exécution de tâche qui a été affectée.
Vous pouvez utiliser les événements pour suivre l'activité et l'état des tâches que vous exécutez sur un cluster virtuel. Vous pouvez également utiliser Amazon CloudWatch Events pour définir une action à effectuer lorsqu'une tâche génère un événement correspondant à un modèle que vous spécifiez. Les événements sont utiles pour surveiller un événement spécifique au cours du cycle de vie d'une tâche. Par exemple, vous pouvez surveiller le moment où l'état d'une exécution de tâche passe de submitted à running. Pour plus d'informations sur CloudWatch les événements, consultez le guide de EventBridge l'utilisateur Amazon.
Le tableau suivant répertorie les EKS événements d'AmazonEMR, ainsi que l'état ou le changement d'état indiqué par l'événement, la gravité de l'événement et les messages relatifs aux événements. Chaque événement est représenté sous la forme d'un JSON objet envoyé automatiquement à un flux d'événements. L'JSONobjet inclut des informations supplémentaires sur l'événement. L'JSONobjet est particulièrement important lorsque vous définissez des règles pour le traitement des événements à l'aide d' CloudWatch événements, car les règles visent à correspondre aux modèles de l'JSONobjet. Pour plus d'informations, consultez les modèles EventBridge d'événements Amazon et Amazon EMR on EKS Events dans le guide de EventBridge l'utilisateur Amazon.
| État | Sévérité | Message |
|---|---|---|
| SUBMITTED | INFO | Job Run JobRunId (JobRunName) a été correctement soumis au cluster virtuel VirtualClusterId à Time UTC. |
| RUNNING | INFO | Job Run JobRunId (JobRunName) dans un cluster virtuel VirtualClusterId a commencé à courir à Time. |
| COMPLETED | INFO | Job Run jobRunId (JobRunName) dans un cluster virtuel VirtualClusterId terminé à Time. The Job Run a commencé à s'exécuter à Time et a pris Num minutes pour terminer. |
| CANCELLED | WARN | La demande d'annulation de Job Run a été acceptée JobRunId
(JobRunName) dans un cluster virtuel VirtualClusterId à Time et le Job Run est maintenant annulé. |
| FAILED | ERROR | Job Run JobRunId (JobRunName) dans un cluster virtuel VirtualClusterId a échoué à Time. |
Automatisez EMR Amazon EKS avec des CloudWatch événements
Vous pouvez utiliser Amazon CloudWatch Events pour automatiser vos AWS services afin de répondre aux événements du système tels que les problèmes de disponibilité des applications ou les modifications des ressources. Les événements des AWS services sont fournis à CloudWatch Events en temps quasi réel. Vous pouvez écrire des règles simples pour préciser les événements qui vous intéressent et les actions automatisées à effectuer quand un événement correspond à une règle. Les actions pouvant être déclenchées automatiquement sont les suivantes :
-
Invoquer une fonction AWS Lambda
-
Invocation de la commande Amazon EC2 Run
-
Relais de l'événement à Amazon Kinesis Data Streams
-
Activation d'une machine à AWS Step Functions états
-
Notifier un sujet Amazon Simple Notification Service (SNS) ou une file d' Amazon Simple Queue Service attente (SQS)
Voici quelques exemples d'utilisation d' CloudWatch Events with Amazon EMR on EKS :
-
Activation d'une fonction Lambda lorsqu'une exécution de tâche réussit
-
Notification d'un SNS sujet Amazon en cas d'échec de l'exécution d'une tâche
CloudWatch Les événements pour detail-type: « » EMR Job Run State Change » sont générés par Amazon EMR EKS pourSUBMITTED, RUNNINGCANCELLED, FAILED et les changements COMPLETED d'état.
Exemple : configuration d'une règle qui invoque Lambda
Suivez les étapes ci-dessous pour configurer une règle d' CloudWatch événements qui invoque Lambda en cas d'événement « EMR Job Run State Change ».
aws events put-rule \ --name cwe-test \ --event-pattern '{"detail-type": ["EMR Job Run State Change"]}'
Ajoutez la fonction Lambda que vous possédez comme nouvelle cible et autorisez CloudWatch Events à invoquer la fonction Lambda comme suit. Remplacez 123456789012 avec votre identifiant de compte.
aws events put-targets \ --rule cwe-test \ --targets Id=1,Arn=arn:aws:lambda:us-east-1:123456789012:function:MyFunction
aws lambda add-permission \ --function-name MyFunction \ --statement-id MyId \ --action 'lambda:InvokeFunction' \ --principal events.amazonaws.com
Note
Vous ne pouvez pas écrire un programme qui dépend de l'ordre ou de l'existence d'événements de notification, car ces événements peuvent arriver dans un ordre différent ou être absents. Les événements sont générés dans la mesure du possible.
Surveillez le module pilote de la tâche avec une politique de nouvelle tentative à l'aide d'Amazon Events CloudWatch
À l'aide d' CloudWatch événements, vous pouvez surveiller les modules de pilotes créés dans le cadre de tâches soumises à des politiques de nouvelle tentative. Pour plus d’informations, consultez Surveillance d'une tâche à l'aide d'une politique de relance dans ce guide.
