Menggunakan Hibah Akses Amazon S3 dengan Tanpa Server EMR - Amazon EMR
Gambaran UmumMeluncurkan aplikasiPertimbangan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan Hibah Akses Amazon S3 dengan Tanpa Server EMR

Ikhtisar Hibah Akses S3 untuk Tanpa Server EMR

Dengan Amazon EMR merilis 6.15.0 dan yang lebih tinggi, Amazon S3 Access Grants menyediakan solusi kontrol akses yang dapat diskalakan yang dapat Anda gunakan untuk menambah akses ke data Amazon S3 Anda dari Tanpa Server. EMR Jika Anda memiliki konfigurasi izin yang kompleks atau besar untuk data S3, Anda dapat menggunakan Access Grants untuk menskalakan izin data S3 untuk pengguna, peran, dan aplikasi.

Gunakan S3 Access Grants untuk menambah akses ke data Amazon S3 di luar izin yang diberikan oleh peran runtime atau IAM peran yang dilampirkan ke identitas dengan akses ke aplikasi Tanpa Server Anda. EMR

Untuk informasi selengkapnya, lihat Mengelola akses dengan Hibah Akses S3 untuk Amazon EMR di Panduan EMR Manajemen Amazon dan Mengelola akses dengan Hibah Akses S3 di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

Bagian ini menjelaskan cara meluncurkan aplikasi EMR Tanpa Server yang menggunakan S3 Access Grants untuk menyediakan akses ke data di Amazon S3. Untuk langkah-langkah menggunakan S3 Access Grants dengan EMR penerapan Amazon lainnya, lihat dokumentasi berikut:

Luncurkan aplikasi EMR Tanpa Server dengan S3 Access Grants untuk manajemen data

Anda dapat mengaktifkan S3 Access Grants di EMR Serverless dan meluncurkan aplikasi Spark. Saat aplikasi Anda membuat permintaan untuk data S3, Amazon S3 menyediakan kredenal sementara yang dicakup ke bucket, awalan, atau objek tertentu.

  1. Siapkan peran eksekusi pekerjaan untuk aplikasi EMR Tanpa Server Anda. Sertakan IAM izin yang diperlukan yang Anda perlukan untuk menjalankan pekerjaan Spark dan menggunakan S3 Access Grants, dan: s3:GetDataAccess s3:GetAccessGrantsInstanceForPrefix

    {
    "Effect": "Allow",
    "Action": [
    "s3:GetDataAccess",
    "s3:GetAccessGrantsInstanceForPrefix"
    ],
    "Resource": [     //LIST ALL INSTANCE ARNS THAT THE ROLE IS ALLOWED TO QUERY
         "arn:aws_partition:s3:Region:account-id1:access-grants/default",
         "arn:aws_partition:s3:Region:account-id2:access-grants/default"
    ]
}
    catatan

    Jika Anda menentukan IAM peran untuk eksekusi pekerjaan yang memiliki izin tambahan untuk mengakses S3 secara langsung, maka pengguna akan dapat mengakses data yang diizinkan oleh peran tersebut meskipun mereka tidak memiliki izin dari S3 Access Grants.

  2. Luncurkan aplikasi EMR Tanpa Server Anda dengan label EMR rilis Amazon 6.15.0 atau lebih tinggi dan spark-defaults klasifikasi, seperti yang ditunjukkan contoh berikut. Ganti nilai red text dengan nilai yang sesuai untuk skenario penggunaan Anda.

    aws emr-serverless start-job-run \
  --application-id application-id \
  --execution-role-arn job-role-arn \
  --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket1/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }' \
  --configuration-overrides '{
    "applicationConfiguration": [{
        "classification": "spark-defaults", 
        "properties": {
          "spark.hadoop.fs.s3.s3AccessGrants.enabled": "true",
          "spark.hadoop.fs.s3.s3AccessGrants.fallbackToIAM": "false"
         }
      }]
}'

Akses S3 Memberikan pertimbangan dengan Tanpa Server EMR

Untuk informasi penting dukungan, kompatibilitas, dan perilaku saat Anda menggunakan Hibah Akses Amazon S3 dengan EMR Tanpa Server, lihat pertimbangan Hibah Akses S3 dengan Amazon di Panduan Manajemen Amazon. EMR EMR