Mises à jour des statistiques de surveillance Application-level surveillance Job-level surveillance Surveillance au niveau des travailleurs

Surveillance des applications et des tâches EMR Serverless

Avec Amazon CloudWatch Metrics for EMR Serverless, vous pouvez recevoir des CloudWatch métriques en 1 minute et accéder à des CloudWatch tableaux de bord pour accéder aux opérations et aux performances en temps quasi réel de vos applications EMR Serverless.

EMR Serverless envoie des métriques à CloudWatch chaque minute. EMR Serverless émet ces mesures au niveau de l'application ainsi qu'au niveau de la tâche, du type de travailleur et du type d'allocation de capacité.

Pour commencer, utilisez le modèle de tableau de CloudWatch bord EMR Serverless fourni dans le GitHub référentiel https://github.com/aws-samples/emr-serverless-samples/tree/main/cloudformation/emr-serverless-cloudwatch-dashboard/ EMR Serverless et déployez-le.

Note

Les charges de travail interactives EMR Serverless ont uniquement la surveillance au niveau de l'application activée et ont une nouvelle dimension de type de travailleur,. Spark_Kernel Pour surveiller et déboguer vos charges de travail interactives, accédez aux journaux et à l'interface utilisateur d'Apache Spark depuis votre espace de travail EMR Studio.

Surveillance des métriques

Important

Nous sommes en train de restructurer l'affichage de nos métriques pour ajouter ApplicationName et JobName en tant que dimensions. Pour les versions 7.10 et ultérieures, les anciennes mesures ne seront plus mises à jour. Pour les versions EMR inférieures à 7.10, les anciennes métriques sont toujours disponibles.

Dimensions actuelles

Le tableau ci-dessous décrit les dimensions EMR Serverless disponibles dans l'AWS/EMR Serverlessespace de noms.

Dimensions pour les métriques EMR Serverless
Dimension	Description
`ApplicationId`	Filtres pour toutes les métriques d'une application EMR Serverless à l'aide de l'ID de l'application.
`ApplicationName`	Filtres pour toutes les métriques d'une application EMR Serverless utilisant le nom. Si le nom n'est pas fourni ou s'il contient des caractères non ASCII, il est publié sous la forme [Non spécifié].
`JobId`	Filtres pour toutes les métriques d'un EMR sans serveur, l'ID d'exécution du job.
`JobName`	Filtres pour toutes les métriques d'une tâche EMR Serverless exécutée en utilisant le nom. Si le nom n'est pas fourni ou s'il contient des caractères non ASCII, il est publié sous la forme [Non spécifié].
`WorkerType`	Filtres pour toutes les mesures d'un type de travailleur donné. Par exemple, vous pouvez filtrer pour `SPARK_DRIVER` et `SPARK_EXECUTORS` pour les tâches Spark.
`CapacityAllocationType`	Filtres pour toutes les mesures d'un type d'allocation de capacité donné. Par exemple, vous pouvez filtrer `PreInitCapacity` pour la capacité pré-initialisée et `OnDemandCapacity` pour tout le reste.

Application-level surveillance

Vous pouvez surveiller l'utilisation de la capacité au niveau de l'application EMR Serverless à l'aide des métriques Amazon CloudWatch . Vous pouvez également configurer un écran unique pour surveiller l'utilisation de la capacité des applications dans un CloudWatch tableau de bord.

Métriques des applications EMR Serverless
Métrique	Description	Unit	Dimension
`MaxCPUAllowed`	Le processeur maximal autorisé pour l'application.	vCPU	`ApplicationId`, `ApplicationName`
`MaxMemoryAllowed`	Mémoire maximale en Go autorisée pour l'application.	Gigaoctets (Go)	`ApplicationId`, `ApplicationName`
`MaxStorageAllowed`	Stockage maximal en Go autorisé pour l'application.	Gigaoctets (Go)	`ApplicationId`, `ApplicationName`
`CPUAllocated`	Nombre total de vCPU alloués.	vCPU	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	Nombre total de travailleurs inactifs.	Nombre	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`MemoryAllocated`	Mémoire totale allouée en Go.	Gigaoctets (Go)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	Nombre total de travailleurs en attente de création.	Nombre	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	Nombre total de travailleurs utilisés par l'application.	Nombre	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	Espace disque total alloué en Go.	Gigaoctets (Go)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	Le nombre total de travailleurs disponibles.	Nombre	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`

Job-level surveillance

Amazon EMR Serverless envoie les métriques suivantes au niveau des tâches toutes les Amazon CloudWatch minutes. Vous pouvez accéder aux valeurs métriques pour les exécutions de tâches agrégées par état d'exécution des tâches. L'unité de chaque métrique est le nombre.

Métriques EMR Serverless au niveau des tâches
Métrique	Description	Dimension
`SubmittedJobs`	Le nombre de jobs dont l'état est Soumis.	`ApplicationId`, `ApplicationName`
`PendingJobs`	Le nombre de tâches à l'état En attente.	`ApplicationId`, `ApplicationName`
`ScheduledJobs`	Le nombre de tâches dans un état Planifié.	`ApplicationId`, `ApplicationName`
`RunningJobs`	Le nombre de tâches en cours d'exécution.	`ApplicationId`, `ApplicationName`
`SuccessJobs`	Le nombre d'emplois dans un état de réussite.	`ApplicationId`, `ApplicationName`
`FailedJobs`	Le nombre de tâches en état d'échec.	`ApplicationId`, `ApplicationName`
`CancellingJobs`	Le nombre d'emplois en état d'annulation.	`ApplicationId`, `ApplicationName`
`CancelledJobs`	Le nombre de jobs dont l'état est Annulé.	`ApplicationId`, `ApplicationName`

Vous pouvez surveiller les métriques spécifiques au moteur pour les tâches EMR Serverless en cours d'exécution et terminées grâce à des interfaces utilisateur d'application spécifiques au moteur. Lorsque vous accédez à l'interface utilisateur d'une tâche en cours d'exécution, l'interface utilisateur de l'application en direct s'affiche avec des mises à jour en temps réel. Lorsque vous accédez à l'interface utilisateur d'une tâche terminée, l'interface utilisateur persistante de l'application s'affiche.

Exécution de tâches

Pour vos tâches EMR Serverless en cours d'exécution, accédez à une interface en temps réel qui fournit des mesures spécifiques au moteur. Vous pouvez utiliser l'interface utilisateur d'Apache Spark ou l'interface utilisateur de Hive Tez pour surveiller et déboguer vos tâches. Pour accéder à ces interfaces utilisateur, utilisez la console EMR Studio ou demandez un point de terminaison URL sécurisé à l'aide du AWS Command Line Interface.

Tâches terminées

Pour vos tâches EMR Serverless terminées, utilisez le serveur d'historique Spark ou l'interface utilisateur persistante de Hive Tez pour accéder aux détails des tâches, aux étapes, aux tâches et aux mesures relatives à l'exécution des tâches Spark ou Hive. Pour accéder à ces interfaces utilisateur, utilisez la console EMR Studio ou demandez un point de terminaison URL sécurisé à l'aide du AWS Command Line Interface.

Surveillance au niveau des travailleurs

Amazon EMR Serverless envoie à Amazon les mesures suivantes au niveau des travailleurs disponibles dans l'AWS/EMRServerlessespace de noms et le groupe de Job Worker Metrics mesures. CloudWatch EMR Serverless collecte des points de données auprès de chaque travailleur lors de l'exécution des tâches au niveau de la tâche, du type de travailleur et du type d'allocation de capacité. Vous pouvez l'utiliser ApplicationId comme dimension pour surveiller plusieurs tâches appartenant à la même application.

Note

Pour afficher le total du processeur et de la mémoire utilisés par une tâche EMR Serverless lorsque vous consultez les statistiques sur la CloudWatch console Amazon, utilisez la statistique comme somme et la période comme 1 minute.

Métriques EMR Serverless au niveau des travailleurs
Métrique	Description	Unit	Dimension
`WorkerCpuAllocated`	Nombre total de cœurs de processeur virtuel alloués aux travailleurs lors d'une exécution de tâche.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, et `CapacityAllocationType`
`WorkerCpuUsed`	Nombre total de cœurs de processeur virtuel utilisés par les travailleurs au cours d'une tâche.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, et `CapacityAllocationType`
`WorkerMemoryAllocated`	Mémoire totale en Go allouée aux collaborateurs lors d'une exécution de tâche.	Gigaoctets (Go)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, et `CapacityAllocationType`
`WorkerMemoryUsed`	Mémoire totale en Go utilisée par les employés lors d'une tâche.	Gigaoctets (Go)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, et `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	Le nombre d'octets de stockage éphémère alloués aux travailleurs lors d'une exécution de tâche.	Gigaoctets (Go)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, et `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	Le nombre d'octets de stockage éphémère utilisés par les travailleurs lors de l'exécution d'une tâche.	Gigaoctets (Go)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, et `CapacityAllocationType`
`WorkerStorageReadBytes`	Nombre d'octets lus depuis le stockage par les travailleurs lors de l'exécution d'une tâche.	Octets	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, et `CapacityAllocationType`
`WorkerStorageWriteBytes`	Le nombre d'octets écrits dans le stockage par les travailleurs lors de l'exécution d'une tâche.	Octets	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, et `CapacityAllocationType`

Les étapes ci-dessous décrivent comment accéder aux différents types de métriques.

Console

Pour accéder à l'interface utilisateur de votre application depuis la console

Accédez à votre application EMR Serverless sur EMR Studio en suivant les instructions de la rubrique Démarrage depuis la console.
Pour accéder aux interfaces utilisateur et aux journaux d'applications spécifiques au moteur pour une tâche en cours d'exécution, procédez comme suit :
1. Choisissez un poste avec un RUNNING statut.
2. Sélectionnez le poste sur la page Détails de la candidature ou accédez à la page Détails du poste correspondant à votre poste.
3. Dans le menu déroulant Display UI, choisissez Spark UI ou Hive Tez UI pour accéder à l'interface utilisateur de l'application correspondant à votre type de poste.
4. Pour accéder aux journaux du moteur Spark, accédez à l'onglet Executors de l'interface utilisateur Spark, puis choisissez le lien Logs correspondant au pilote. Pour accéder aux journaux du moteur Hive, choisissez le lien Logs correspondant au DAG approprié dans l'interface utilisateur de Hive Tez.
Pour accéder aux interfaces utilisateur et aux journaux des applications spécifiques au moteur pour une tâche terminée, procédez comme suit :
1. Choisissez un poste avec un SUCCESS statut.
2. Sélectionnez le poste sur la page Détails de la candidature de votre candidature ou accédez à la page Détails du poste.
3. Dans le menu déroulant Display UI, choisissez Spark History Server ou Persistent Hive Tez UI pour accéder à l'interface utilisateur de l'application correspondant à votre type de tâche.
4. Pour accéder aux journaux du moteur Spark, accédez à l'onglet Executors de l'interface utilisateur Spark, puis choisissez le lien Logs correspondant au pilote. Pour accéder aux journaux du moteur Hive, choisissez le lien Logs correspondant au DAG approprié dans l'interface utilisateur de Hive Tez.

AWS CLI

Pour accéder à l'interface utilisateur de votre application à l'aide du AWS CLI

Pour générer une URL qui permet d'accéder à l'interface utilisateur de votre application pour les tâches en cours et terminées, appelez l'GetDashboardForJobRunAPI.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
L'URL que vous générez est valide pendant une heure.

Avertissement JavaScript est désactivé ou n'est pas disponible dans votre navigateur.

Pour que vous puissiez utiliser la documentation AWS, Javascript doit être activé. Vous trouverez des instructions sur les pages d'aide de votre navigateur.

Conventions de rédaction

Contrôle

Statistiques du moteur Spark