本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
設定作業執行以使用 Amazon S3 日誌
若要能夠監控任務進度並疑難排解失敗,您必須設定任務將日誌資訊傳送至 Amazon S3、Amazon CloudWatch Logs 或兩者。本主題可協助您在 Amazon 在 上啟動的任務上,開始將應用程式日誌發佈至 Amazon S3EKS。 EMR
S3 日誌IAM政策
在您的作業可以傳送日誌資料到 Amazon S3 之前,必須在作業執行角色的許可政策中包含下列許可。Replace (取代) amzn-s3-demo-logging-bucket
記錄儲存貯體的名稱。
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::
amzn-s3-demo-logging-bucket
", "arn:aws:s3:::amzn-s3-demo-logging-bucket
/*", ] } ] }
注意
Amazon EMR on EKS 也可以建立 Amazon S3 儲存貯體。如果無法使用 Amazon S3 儲存貯體,請在IAM政策中包含 “s3:CreateBucket”
許可。
在授予執行角色適當許可以便將日誌傳送到 Amazon S3 之後,當在 start-job-run
請求的 monitoringConfiguration
區段中傳遞 s3MonitoringConfiguration
時,會將日誌資料傳送到以下 Amazon S3 位置,如 使用 管理任務執行 AWS CLI 中所示。
-
提交者日誌 - /
logUri
/virtual-cluster-id
/jobs/job-id
/容器/pod-name
/(stderr.gz/stdout.gz) -
驅動程式日誌 - /
logUri
/virtual-cluster-id
/jobs/job-id
/容器/spark-application-id
/spark-job-id
-driver/(stderr.gz/stdout.gz) -
執行器日誌 - /
logUri
/virtual-cluster-id
/jobs/job-id
/容器/spark-application-id
/executor-pod-name
/(stderr.gz/stdout.gz)