Lowongan kerja Monitoring Spark - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Lowongan kerja Monitoring Spark

Agar Anda dapat memantau dan memecahkan masalah kegagalan, konfigurasikan titik akhir interaktif Anda sehingga pekerjaan yang dimulai dengan titik akhir dapat mengirim informasi log ke Amazon S3, Amazon Log, atau keduanya. CloudWatch Bagian berikut menjelaskan cara mengirim log aplikasi Spark ke Amazon S3 untuk pekerjaan Spark yang Anda luncurkan dengan EMR Amazon EKS pada titik akhir interaktif.

Konfigurasikan IAM kebijakan untuk log Amazon S3

Sebelum kernel Anda dapat mengirim data log ke Amazon S3, kebijakan izin untuk peran eksekusi pekerjaan harus menyertakan izin berikut. Ganti amzn-s3-demo-destination-bucket dengan nama ember logging Anda.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-destination-bucket",
                "arn:aws:s3:::amzn-s3-demo-logging-bucket/*",
            ]
        }
    ]
}
catatan

Amazon EMR on juga EKS dapat membuat bucket S3. Jika bucket S3 tidak tersedia, sertakan s3:CreateBucket izin tersebut dalam IAM kebijakan.

Setelah Anda memberikan izin pada peran eksekusi yang diperlukan untuk mengirim log ke bucket S3, data log Anda akan dikirim ke lokasi Amazon S3 berikut. Ini terjadi ketika s3MonitoringConfiguration diteruskan di monitoringConfiguration bagian create-managed-endpoint permintaan.

  • Log driver — logUri/virtual-cluster-id/endpoints/endpoint-id/containers/spark-application-id/spark-application-id-driver/(stderr.gz/stdout.gz)

  • Log pelaksana — logUri/virtual-cluster-id/endpoints/endpoint-id/containers/spark-application-id/executor-pod-name-exec-<Number>/(stderr.gz/stdout.gz)

catatan

Amazon EMR on EKS tidak mengunggah log titik akhir ke bucket S3 Anda.