Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Eine Aufgabenausführung für die Verwendung von Amazon-S3-Protokollen konfigurieren
Um den Auftragsfortschritt überwachen und Fehler beheben zu können, müssen Sie Ihre Jobs so konfigurieren, dass Protokollinformationen an Amazon S3, Amazon CloudWatch Logs oder beide gesendet werden. Dieses Thema hilft Ihnen bei den ersten Schritten beim Veröffentlichen von Anwendungsprotokollen in Amazon S3 für Ihre Jobs, die mit Amazon EMR on gestartet wurdenEKS.
IAMRichtlinie für S3-Protokolle
Bevor Ihre Aufträge Protokolldaten an Amazon S3 senden können, müssen die folgenden Berechtigungen in der Berechtigungsrichtlinie für die Auftragausführungsrolle enthalten sein. Ersetzen amzn-s3-demo-logging-bucket
mit dem Namen Ihres Logging-Buckets.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::
amzn-s3-demo-logging-bucket
", "arn:aws:s3:::amzn-s3-demo-logging-bucket
/*", ] } ] }
Anmerkung
Amazon EMR on EKS kann auch einen Amazon S3 S3-Bucket erstellen. Wenn ein Amazon S3 S3-Bucket nicht verfügbar ist, nehmen Sie die “s3:CreateBucket”
Genehmigung in die IAM Richtlinie auf.
Nachdem Sie Ihrer Ausführungsrolle die entsprechenden Berechtigungen zum Senden von Protokollen an Amazon S3 erteilt haben, werden Ihre Protokolldaten an die folgenden Amazon-S3-Speicherorte gesendet, wenn s3MonitoringConfiguration
im monitoringConfiguration
Abschnitt einer start-job-run
-Anforderung übergeben werden, wie unter Die Verwaltung von Jobläufen erfolgt mit dem AWS CLI beschrieben.
-
Protokolle des Absenders -/
logUri
/virtual-cluster-id
/jobs/job-id
/container/pod-name
/(stderr.gz/stdout.gz) -
Fahrerprotokolle -/
logUri
/virtual-cluster-id
/jobs/job-id
/container/spark-application-id
/spark-job-id
-treiber/ (stderr.gz/stdout.gz) -
Executor-Protokolle -/
logUri
/virtual-cluster-id
/jobs/job-id
/container/spark-application-id
/executor-pod-name
/(stderr.gz/stdout.gz)