設定作業執行以使用 Amazon S3 日誌 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

設定作業執行以使用 Amazon S3 日誌

若要能夠監控任務進度並疑難排解失敗,您必須設定任務將日誌資訊傳送至 Amazon S3、Amazon CloudWatch Logs 或兩者。本主題可協助您在 Amazon 在 上啟動的任務上,開始將應用程式日誌發佈至 Amazon S3EKS。 EMR

S3 日誌IAM政策

在您的作業可以傳送日誌資料到 Amazon S3 之前,必須在作業執行角色的許可政策中包含下列許可。Replace (取代) amzn-s3-demo-logging-bucket 記錄儲存貯體的名稱。

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-logging-bucket", "arn:aws:s3:::amzn-s3-demo-logging-bucket/*", ] } ] }
注意

Amazon EMR on EKS 也可以建立 Amazon S3 儲存貯體。如果無法使用 Amazon S3 儲存貯體,請在IAM政策中包含 “s3:CreateBucket” 許可。

在授予執行角色適當許可以便將日誌傳送到 Amazon S3 之後,當在 start-job-run 請求的 monitoringConfiguration 區段中傳遞 s3MonitoringConfiguration 時,會將日誌資料傳送到以下 Amazon S3 位置,如 使用 管理任務執行 AWS CLI 中所示。

  • 提交者日誌 - /logUri/virtual-cluster-id/jobs/job-id/容器/pod-name/(stderr.gz/stdout.gz)

  • 驅動程式日誌 - /logUri/virtual-cluster-id/jobs/job-id/容器/spark-application-id/spark-job-id-driver/(stderr.gz/stdout.gz)

  • 執行器日誌 - /logUri/virtual-cluster-id/jobs/job-id/容器/spark-application-id/executor-pod-name/(stderr.gz/stdout.gz)