Amazon での Amazon S3 Access Grants の使用 EMR

1. ユーザーは、Amazon S3 EMR に保存されているデータを使用する Amazon Spark ジョブを送信します。 Amazon S3

2. Amazon EMR は、S3 Access Grants に対して、そのユーザーに代わってバケット、プレフィックス、またはオブジェクトへのアクセスを許可するリクエストを行います。

3. Amazon S3 は、ユーザーの AWS Security Token Service （STS) トークンの形式で一時的な認証情報を返します。トークンのスコープは、S3 バケット、プレフィックス、またはオブジェクトへのアクセスを対象としています。

4. Amazon EMRはSTSトークンを使用して S3 からデータを取得します。

5. Amazon は S3 からデータEMRを受け取り、結果をユーザーに返します。

Amazon で実行されEC2、S3 Access Grants を使用して Amazon S3 内のデータへのアクセスを管理する EMRクラスターを起動するには、次のステップを使用しますAmazon S3。

1. EMR クラスターのジョブ実行ロールを設定します。Spark ジョブの実行に必要なIAMアクセス許可s3:GetDataAccess、および を含めますs3:GetAccessGrantsInstanceForPrefix。

   {
       "Effect": "Allow",
       "Action": [
       "s3:GetDataAccess",
       "s3:GetAccessGrantsInstanceForPrefix"
       ],
       "Resource": [     //LIST ALL INSTANCE ARNS THAT THE ROLE IS ALLOWED TO QUERY
            "arn:aws_partition:s3:Region:account-id1:access-grants/default",
            "arn:aws_partition:s3:Region:account-id2:access-grants/default"
       ]
   }

   注記

   Amazon ではEMR、S3 Access Grants はIAMロールで設定されたアクセス許可を強化します。ジョブ実行に指定したIAMロールに S3 に直接アクセスするアクセス許可が含まれている場合、ユーザーは S3 Access Grants で定義したデータよりも多くのデータにアクセスできる可能性があります。

2. 次に、 を使用して Amazon 6.15 EMR 以降でクラスター AWS CLI を作成し、 emrfs-site分類を使用して S3 Access Grants を有効にします。例は次のとおりです。

   aws emr create-cluster 
     --release-label emr-6.15.0 \
     --instance-count 3 \
     --instance-type m5.xlarge \
     --configurations '[{"Classification":"emrfs-site", "Properties":{"fs.s3.s3AccessGrants.enabled":"true", "fs.s3.s3AccessGrants.fallbackToIAM":"false"}}]'