AWS Glue での Amazon S3 Access Grants の使用

ユーザーが、Amazon S3 に保存されているデータを使用する AWS Glue Spark ジョブを送信します。

AWS Glue は、バケット、プレフィックス、またはオブジェクトへのアクセスを許可するユーザーの一時的な認証情報を S3 Access Grants に渡すようにリクエストします。

AWS Glue は一時的な認証情報を、そのユーザーの AWS セキュリティトークンサービス (STS) のトークン形式で返します。トークンのスコープは、S3 バケット、プレフィックス、またはオブジェクトへのアクセスを対象としています。

AWS Glue は STS トークンを使用して S3 からデータを取得します。

AWS Glue は S3 からデータを受け取り、結果をユーザーに返します。

付与に使用されるロール (セッションまたはジョブを実行する AWS Glue ロール) に、以下の最小限の信頼ポリシーと IAM ポリシーを設定します。

信頼ポリシー:

{
            "Sid": "Stmt1234567891011",
            "Action": [
                "sts:AssumeRole",
                "sts:SetSourceIdentity",
                "sts:SetContext"
            ],
            "Effect": "Allow",
            "Principal": {
                "Service": "access-grants.s3.amazonaws.com"
            },
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "123456789012",
                    "aws:SourceArn": "arn:aws:s3:<region>:123456789012:access-grants/default"
                }
            }
        }

IAM ポリシー:

{
            "Sid": "S3Grants",
            "Effect": "Allow",
            "Action": [
                "s3:GetDataAccess",
                "s3:GetAccessGrantsInstanceForPrefix"
            ],
            "Resource": "arn:aws:s3:<region>:123456789012:access-grants/default"
        },
        {
            "Sid": "BucketLevelReadPermissions",
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ],
            "Condition": {
                "StringEquals": {
                    "aws:ResourceAccount": "123456789012"
                },
                "ArnEquals": {
                    "s3:AccessGrantsInstanceArn": [
                        "arn:aws:s3:<region>:123456789012:access-grants/default"
                    ]
                }
            }
        },
        {
            "Sid": "ObjectLevelReadPermissions",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:GetObjectVersion",
                "s3:GetObjectAcl",
                "s3:GetObjectVersionAcl",
                "s3:ListMultipartUploadParts"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ],
            "Condition": {
                "StringEquals": {
                    "aws:ResourceAccount": "123456789012"
                },
                "ArnEquals": {
                    "s3:AccessGrantsInstanceArn": [
                        "arn:aws:s3:<region>:123456789012:access-grants/default"
                    ]
                }
            }
        }

AWS Glue ジョブで、AWS Glue ジョブパラメータまたは SparkConf を使用して次の Spark 設定を渡します。

--conf spark.hadoop.fs.s3.s3AccessGrants.enabled=true \
--conf spark.hadoop.fs.s3.s3AccessGrants.fallbackToIAM=false