Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Configurazione di un'esecuzione di processo per utilizzare i log Amazon S3
Per monitorare lo stato di avanzamento del lavoro e risolvere gli errori, devi configurare i lavori per inviare informazioni di log ad Amazon S3, Amazon CloudWatch Logs o entrambi. Questo argomento ti aiuta a iniziare a pubblicare i log delle applicazioni su Amazon S3 sui tuoi lavori avviati con Amazon EMR on. EKS
Politica sui log di S3 IAM
Prima che i processi possano inviare i dati dei log ad Amazon S3, nella policy delle autorizzazioni per il ruolo di esecuzione di processo devono essere incluse le seguenti autorizzazioni. Replace (Sostituisci) amzn-s3-demo-logging-bucket
con il nome del tuo bucket di registrazione.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::
amzn-s3-demo-logging-bucket
", "arn:aws:s3:::amzn-s3-demo-logging-bucket
/*", ] } ] }
Nota
Amazon EMR on EKS può anche creare un bucket Amazon S3. Se un bucket Amazon S3 non è disponibile, includi l'“s3:CreateBucket”
autorizzazione nella policy. IAM
Dopo aver assegnato al ruolo di esecuzione le autorizzazioni appropriate per l'invio dei log ad Amazon S3, i dati dei log vengono inviati alle seguenti posizioni Amazon S3 quando s3MonitoringConfiguration
viene trasmesso nella sezione monitoringConfiguration
di una richiesta start-job-run
, come mostrato in La gestione dei job viene eseguita con AWS CLI.
-
Registri degli inviatori -/
logUri
/virtual-cluster-id
/offerte di lavoro/job-id
/contenitori/pod-name
/(stderr.gz/stdout.gz) -
Registri dei driver -/
logUri
/virtual-cluster-id
/offerte di lavoro/job-id
/contenitori/spark-application-id
/scintilla-job-id
-driver/ (stderr.gz/stdout.gz) -
Registri dell'esecutore -/
logUri
/virtual-cluster-id
/offerte di lavoro/job-id
/contenitori/spark-application-id
/executor-pod-name
/(stderr.gz/stdout.gz)