Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Quels sont les outils disponibles pour résoudre les problèmes liés à un cluster Amazon EMR ?

Pour identifier et corriger les erreurs de cluster, vous pouvez utiliser les outils décrits sur cette page. Lorsque vous lancez le cluster, il se peut que vous deviez initialiser certains outils. D'autres outils sont disponibles par défaut pour chaque cluster.

Consulter les détails du cluster EMR

Vous pouvez utiliser l'API AWS Management Console AWS CLI, ou EMR pour récupérer des informations détaillées sur un cluster EMR et l'exécution des tâches. Pour plus d'informations sur l'utilisation du AWS Management Console et AWS CLI, consultezAfficher l'état et les détails du cluster Amazon EMR.

Volet de détails de la console Amazon EMR

Dans la liste Clusters de la console Amazon EMR, vous pouvez voir des informations de haut niveau sur le statut de chaque cluster de votre compte et de votre Région AWS. La liste affiche tous les clusters actifs et terminés que vous avez lancés au cours des deux derniers mois. Dans la liste Clusters, vous pouvez sélectionner un Nom de cluster pour en visualiser les informations détaillées. Ces informations sont organisées en différentes catégories pour faciliter la navigation.

Les interfaces utilisateur d'application disponibles dans la page de détails du cluster peuvent être utiles pour dépanner les clusters. Il fournit le statut des applications YARN et pour certaines, comme les applications Spark, vous pouvez explorer les différentes métriques et facettes, telles que les travaux, les phases et les exécuteurs. Pour de plus amples informations, veuillez consulter Afficher l'historique des applications Amazon EMR. Cette fonctionnalité n'est disponible que pour les versions 5.8.0 et supérieures d'Amazon EMR.

Interface de ligne de commande Amazon EMR

Vous pouvez trouver des informations sur un cluster à l' AWS CLI aide de l'--describeargument.

API Amazon EMR

Vous pouvez rechercher les détails relatifs à un cluster à partir de l'API à l'aide de l'action DescribeJobFlows.

Afficher les détails des erreurs du cluster EMR

Lorsqu'un cluster EMR se termine avec une erreur, les DescribeCluster et ListClusters APIs renvoient un code d'erreur et un message d'erreur. Pour certaines erreurs de cluster, le tableau de données ErrorDetail peut vous aider à résoudre le problème.

Pour obtenir la liste des codes d'erreur incluant des données ErrorDetail, consultez Codes d'erreur contenant ErrorDetail des informations dans Amazon EMR.

Exécuter des scripts et configurer les processus Amazon EMR

Dans le cadre de votre processus de résolution des problèmes, il peut être utile d'exécuter des scripts personnalisés sur votre cluster ou d'afficher et de configurer les processus du cluster.

Afficher et redémarrer les processus d'application

Il peut être utile de visualiser les processus en cours sur votre cluster afin de diagnostiquer les problèmes potentiels. Vous pouvez arrêter et redémarrer les processus du cluster en vous connectant au nœud principal de votre cluster. Pour de plus amples informations, veuillez consulter Afficher et redémarrer Amazon EMR et les processus d'application (démon).

Exécuter des commandes et des scripts sans connexion SSH

Pour exécuter une commande ou un script sur votre cluster en tant qu'étape, vous pouvez utiliser les outils command-runner.jar ou script-runner.jar sans établir de connexion SSH avec le nœud principal. Pour plus d'informations, consultez Exécuter des commandes et des scripts sur un cluster Amazon EMR.

Afficher les fichiers journaux

Amazon EMR et Hadoop génèrent tous deux des fichiers journaux lorsque le cluster s'exécute. Vous pouvez accéder à ces fichiers journaux grâce à différents outils, en fonction de la configuration que vous avez spécifiée lorsque vous avez lancé le cluster. Pour de plus amples informations, veuillez consulter Configuration de la journalisation et du débogage du cluster Amazon EMR.

Fichiers journaux sur le nœud principal

Chaque cluster publie des fichiers journaux dans le répertoirethe /mnt/var/log/du nœud principal. Ces fichiers journaux sont disponibles uniquement pendant l'exécution du cluster.

Fichiers journaux archivés sur Amazon S3

Si vous lancez le cluster et que vous spécifiez un chemin de journal Amazon S3, le cluster copie les fichiers journaux in /mnt/var/log stockés/sur le nœud principal vers Amazon S3 à intervalles de 5 minutes. Vous avez ainsi la garantie de pouvoir accéder aux fichiers journaux même après la mise hors service du cluster. Etant donné que les fichiers sont archivés toutes les 5 minutes, les dernières minutes d'un cluster mis hors service soudainement peuvent ne pas être disponibles.

Surveillez les performances du cluster EMR

Amazon EMR propose plusieurs outils pour surveiller les performances de votre cluster.

Interfaces Web Hadoop

Chaque cluster publie un ensemble d'interfaces Web sur le nœud maître, qui contient des informations sur le cluster. Vous pouvez accéder à ces pages Web à l'aide d'un tunnel SSH pour les connecter sur le nœud maître. Pour de plus amples informations, veuillez consulter Affichage des interfaces Web hébergées sur des clusters Amazon EMR.

CloudWatch métriques

Chaque cluster communique des métriques à CloudWatch. CloudWatch est un service Web qui suit les métriques et que vous pouvez utiliser pour définir des alarmes sur ces métriques. Pour de plus amples informations, veuillez consulter Surveillance des métriques Amazon EMR avec CloudWatch.