Configurazione di un'esecuzione di processo per utilizzare i log Amazon S3 - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione di un'esecuzione di processo per utilizzare i log Amazon S3

Per monitorare lo stato di avanzamento del lavoro e risolvere gli errori, devi configurare i lavori per inviare informazioni di log ad Amazon S3, Amazon CloudWatch Logs o entrambi. Questo argomento ti aiuta a iniziare a pubblicare i log delle applicazioni su Amazon S3 sui tuoi lavori avviati con Amazon EMR on. EKS

Politica sui log di S3 IAM

Prima che i processi possano inviare i dati dei log ad Amazon S3, nella policy delle autorizzazioni per il ruolo di esecuzione di processo devono essere incluse le seguenti autorizzazioni. Replace (Sostituisci) amzn-s3-demo-logging-bucket con il nome del tuo bucket di registrazione.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-logging-bucket", "arn:aws:s3:::amzn-s3-demo-logging-bucket/*", ] } ] }
Nota

Amazon EMR on EKS può anche creare un bucket Amazon S3. Se un bucket Amazon S3 non è disponibile, includi l'“s3:CreateBucket”autorizzazione nella policy. IAM

Dopo aver assegnato al ruolo di esecuzione le autorizzazioni appropriate per l'invio dei log ad Amazon S3, i dati dei log vengono inviati alle seguenti posizioni Amazon S3 quando s3MonitoringConfiguration viene trasmesso nella sezione monitoringConfiguration di una richiesta start-job-run, come mostrato in La gestione dei job viene eseguita con AWS CLI.

  • Registri degli inviatori -/logUri/virtual-cluster-id/offerte di lavoro/job-id/contenitori/pod-name/(stderr.gz/stdout.gz)

  • Registri dei driver -/logUri/virtual-cluster-id/offerte di lavoro/job-id/contenitori/spark-application-id/scintilla-job-id-driver/ (stderr.gz/stdout.gz)

  • Registri dell'esecutore -/logUri/virtual-cluster-id/offerte di lavoro/job-id/contenitori/spark-application-id/executor-pod-name/(stderr.gz/stdout.gz)