Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration d'une exécution de tâche pour utiliser les journaux Amazon S3
Pour être en mesure de suivre l'avancement des tâches et de résoudre les problèmes d'échec, vous devez configurer vos tâches de manière à envoyer des informations de journal à Amazon S3, Amazon CloudWatch Logs ou aux deux. Cette rubrique vous aide à commencer à publier des journaux d'applications sur Amazon S3 concernant vos tâches lancées avec Amazon EMR leEKS.
IAMPolitique relative aux journaux S3
Pour que vos tâches puissent envoyer des données de journal à Amazon S3, les autorisations suivantes doivent être incluses dans la politique d'autorisations du rôle d'exécution des tâches. Remplacez amzn-s3-demo-logging-bucket
avec le nom de votre bucket de journalisation.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::
amzn-s3-demo-logging-bucket
", "arn:aws:s3:::amzn-s3-demo-logging-bucket
/*", ] } ] }
Note
Amazon EMR on EKS peut également créer un compartiment Amazon S3. Si aucun compartiment Amazon S3 n'est disponible, incluez l'“s3:CreateBucket”
autorisation dans la IAM politique.
Une fois que vous avez donné à votre rôle d'exécution les autorisations appropriées pour envoyer des journaux à Amazon S3, les données de vos journaux sont envoyées aux emplacements Amazon S3 suivants lorsque la s3MonitoringConfiguration
est transmise dans la section monitoringConfiguration
d'une demande start-job-run
, comme indiqué dans Gérer les exécutions de tâches à l'aide du AWS CLI.
-
Journaux des soumissionnaires -/
logUri
/virtual-cluster-id
/emplois/job-id
/conteneurs/pod-name
/(stderr.gz/stdout.gz) -
Journaux des conducteurs -/
logUri
/virtual-cluster-id
/emplois/job-id
/conteneurs/spark-application-id
/étincelle -job-id
-pilote/ (stderr.gz/stdout.gz) -
Journaux de l'exécuteur -/
logUri
/virtual-cluster-id
/emplois/job-id
/conteneurs/spark-application-id
/executor-pod-name
/(stderr.gz/stdout.gz)