Eine Aufgabenausführung für die Verwendung von Amazon-S3-Protokollen konfigurieren - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Eine Aufgabenausführung für die Verwendung von Amazon-S3-Protokollen konfigurieren

Um den Auftragsfortschritt überwachen und Fehler beheben zu können, müssen Sie Ihre Jobs so konfigurieren, dass Protokollinformationen an Amazon S3, Amazon CloudWatch Logs oder beide gesendet werden. Dieses Thema hilft Ihnen bei den ersten Schritten beim Veröffentlichen von Anwendungsprotokollen in Amazon S3 für Ihre Jobs, die mit Amazon EMR on gestartet wurdenEKS.

IAMRichtlinie für S3-Protokolle

Bevor Ihre Aufträge Protokolldaten an Amazon S3 senden können, müssen die folgenden Berechtigungen in der Berechtigungsrichtlinie für die Auftragausführungsrolle enthalten sein. Ersetzen amzn-s3-demo-logging-bucket mit dem Namen Ihres Logging-Buckets.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-logging-bucket", "arn:aws:s3:::amzn-s3-demo-logging-bucket/*", ] } ] }
Anmerkung

Amazon EMR on EKS kann auch einen Amazon S3 S3-Bucket erstellen. Wenn ein Amazon S3 S3-Bucket nicht verfügbar ist, nehmen Sie die “s3:CreateBucket” Genehmigung in die IAM Richtlinie auf.

Nachdem Sie Ihrer Ausführungsrolle die entsprechenden Berechtigungen zum Senden von Protokollen an Amazon S3 erteilt haben, werden Ihre Protokolldaten an die folgenden Amazon-S3-Speicherorte gesendet, wenn s3MonitoringConfiguration im monitoringConfiguration Abschnitt einer start-job-run-Anforderung übergeben werden, wie unter Die Verwaltung von Jobläufen erfolgt mit dem AWS CLI beschrieben.

  • Protokolle des Absenders -/logUri/virtual-cluster-id/jobs/job-id/container/pod-name/(stderr.gz/stdout.gz)

  • Fahrerprotokolle -/logUri/virtual-cluster-id/jobs/job-id/container/spark-application-id/spark-job-id-treiber/ (stderr.gz/stdout.gz)

  • Executor-Protokolle -/logUri/virtual-cluster-id/jobs/job-id/container/spark-application-id/executor-pod-name/(stderr.gz/stdout.gz)