Konfigurasikan pekerjaan yang dijalankan untuk menggunakan log Amazon S3 - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan pekerjaan yang dijalankan untuk menggunakan log Amazon S3

Untuk dapat memantau kemajuan pekerjaan dan memecahkan masalah kegagalan, Anda harus mengonfigurasi pekerjaan Anda untuk mengirim informasi log ke Amazon S3, Amazon Log, CloudWatch atau keduanya. Topik ini membantu Anda mulai menerbitkan log aplikasi ke Amazon S3 pada pekerjaan Anda yang diluncurkan dengan Amazon EMR di. EKS

Kebijakan log IAM S3

Sebelum tugas Anda dapat mengirim data log ke Amazon S3, izin berikut harus disertakan dalam kebijakan perizinan untuk peran eksekusi tugas. Ganti amzn-s3-demo-logging-bucket dengan nama ember logging Anda.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-logging-bucket",
                "arn:aws:s3:::amzn-s3-demo-logging-bucket/*",
            ]
        }
    ]
}
catatan

Amazon EMR on juga EKS dapat membuat ember Amazon S3. Jika bucket Amazon S3 tidak tersedia, sertakan “s3:CreateBucket” izin tersebut dalam kebijakan. IAM

Setelah Anda memberi peran eksekusi izin yang tepat untuk mengirim log ke Amazon S3, data log Anda akan dikirim ke lokasi Amazon S3 berikut s3MonitoringConfiguration saat diteruskan di monitoringConfiguration bagian permintaan, seperti start-job-run yang ditunjukkan pada. Mengelola pekerjaan berjalan dengan AWS CLI

  • Log Pengirim -/logUri/virtual-cluster-id/pekerjaan/job-id/kontainer/pod-name/(stderr.gz/stdout.gz)

  • Log Pengemudi -/logUri/virtual-cluster-id/pekerjaan/job-id/kontainer/spark-application-id/percikan api -job-id-driver/ (stderr.gz/stdout.gz)

  • Log Pelaksana -/logUri/virtual-cluster-id/pekerjaan/job-id/kontainer/spark-application-id/executor-pod-name/(stderr.gz/stdout.gz)