查看ETL作业所需的IAM权限 - AWS Glue
数据源和数据目标权限删除任务所需的权限AWS Key Management Service 权限使用连接器所需的权限

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

查看ETL作业所需的IAM权限

当你使用创建任务时 AWS Glue Studio，则该作业将使用您在创建时指定的IAM角色的权限。此IAM角色必须具有从您的数据源提取数据、将数据写入目标以及访问 AWS Glue 资源的权限。

您为作业创建的角色的名称必须以字符串开AWSGlueServiceRole头，这样才能正确使用它 AWS Glue Studio。 例如，您可以为自己的角色命名AWSGlueServiceRole-FlightDataJob。

数据源和数据目标权限

网络 ACL 和安全组都允许 (因此可到达您的实例) 的发起 ping 的 AWS Glue Studio 作业必须有权访问您在任务中使用的任何源、目标、脚本和临时目录的 Amazon S3。您可以创建策略，提供对特定 Amazon S3 资源的精细访问权限。

  • 数据源需要 s3:ListBucket 和 s3:GetObject 权限。

  • 数据目标需要s3:ListBucket、s3:PutObject 和 s3:DeleteObject 权限。

注意

您的IAM策略需要允许s3:GetObject用于托管 AWS Glue 转换的特定存储桶。

以下存储桶归 AWS 服务帐号所有，可在全球范围内读取。这些存储桶充当与可 AWS Glue Studio 视化编辑器访问的转换子集相关的源代码存储库。存储桶上的权限设置为拒绝对该存储桶执行任何其他API操作。任何人都可以读取我们提供的转换脚本，但是除我们的服务团队外，任何人都不能向其中“放入”任何内容。当您的 AWS Glue 作业运行时，该文件将作为本地导入文件提取，因此该文件会下载到本地容器中。之后，将不再与该账户进行其他通信。

区域：存储桶名称

  • af-south-1：-762339736633- aws-glue-studio-transforms 1 prod-af-south

  • ap-east-1：-125979764932 aws-glue-studio-transforms -1 prod-ap-east

  • ap-northeast-2：-673535381443--2 aws-glue-studio-transforms prod-ap-northeast

  • ap-northeast-3：-149976050262--3 aws-glue-studio-transforms prod-ap-northeast

  • ap-south-1：-584702181950- aws-glue-studio-transforms 1 prod-ap-south

  • ap-south-2：-380279651983-- aws-glue-studio-transforms 2 prod-ap-south

  • ap-southeast-1：-737106620487-1 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-2：-234881715811-2 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-3：-151265630221--3 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-4：-052235663858--4 aws-glue-studio-transforms prod-ap-southeast

  • ca-central-1：-622716468547 aws-glue-studio-transforms -1 prod-ca-central

  • ca-west-1：-915795495192- aws-glue-studio-transforms -1 prod-ca-west

  • eu-central-1：-560373232017 aws-glue-studio-transforms -1 prod-eu-central

  • eu-central-2：-907358657121- aws-glue-studio-transforms -2 prod-eu-central

  • eu-north-1：-312557305497- aws-glue-studio-transforms 1 prod-eu-north

  • eu-south-1：-939684186351-- aws-glue-studio-transforms 1 prod-eu-south

  • eu-south-2：-239737454084-- aws-glue-studio-transforms 2 prod-eu-south

  • eu-west-1：-244479516193- aws-glue-studio-transforms -1 prod-eu-west

  • eu-west-2：-804222392271--2 aws-glue-studio-transforms prod-eu-west

  • eu-west-3：-371299348807--3 aws-glue-studio-transforms prod-eu-west

  • il-central-1：-8069646 aws-glue-studio-transforms 11811-1 prod-il-central

  • me-central-1：-733304270342-- aws-glue-studio-transforms 1 prod-me-central

  • me-south-1: -112120182341--1 aws-glue-studio-transforms prod-me-south

  • sa-east-1: -881619130292--1 aws-glue-studio-transforms prod-sa-east

  • us-east-1：-510798373988- aws-glue-studio-transforms 1 prod-us-east

  • us-east-2: -251189692203-- aws-glue-studio-transforms 2 prod-us-east

  • us-west-1：-593230150239- aws-glue-studio-transforms 1 prod-us-west

  • us-west-2：-818035625594-- aws-glue-studio-transforms 2 prod-us-west

  • ap-northeast-1：-200493242866--1 aws-glue-studio-transforms prod-ap-northeast

  • cn-north-1：-07103355442- aws-glue-studio-transforms -1 prod-cn-north

  • cn-northwest-1：-070947029561--1 aws-glue-studio-transforms prod-cn-northwest

  • us-gov-west-1:- aws-glue-studio-transforms 227493901923--1-2604 prod-us-gov-west

如果您选择 Amazon Redshift 作为数据源，则可以为集群权限提供角色。针对 Amazon Redshift 集群运行的任务会发出使用临时证书访问 Amazon S3 进行临时存储的命令。如果您的任务运行超过一小时，这些凭证将会过期，导致任务失败。若要避免此问题，您可以将角色分配给 Amazon Redshift 集群本身，其授予使用临时凭证的任务所需的权限。有关更多信息，请参阅《AWS Glue 开发人员指南》中的将数据移入和移出 Amazon Redshift。

如果任务使用 Amazon S3 以外的数据源或目标，则必须为任务使用的IAM角色附加必要的权限才能访问这些数据源和目标。有关更多信息，请参阅《AWS Glue 开发人员指南》中的设置环境以访问数据存储。

如果要为数据存储使用连接器和连接，则您需要在使用连接器所需的权限中描述的其他权限。

删除任务所需的权限

In AWS Glue Studio 您可以在控制台中选择多个要删除的作业。若要执行此操作，您必须具有 glue:BatchDeleteJob 权限。这不同于 AWS Glue 控制台，需要删除任务的glue:DeleteJob权限。

AWS Key Management Service 权限

如果您计划通过 AWS Key Management Service (AWS KMS) 访问使用服务器端加密的 Amazon S3 源和目标，请将策略附加到 AWS Glue Studio 任务使用的角色，使作业能够解密数据。任务角色需要 kms:ReEncrypt、kms:GenerateDataKey 和 kms:DescribeKey 权限。此外，该任务角色需要拥有上传或下载使用 AWS KMS 客户主密钥 (CMK) 加密的 Amazon S3 对象的kms:Decrypt权限。

使用需要支付额外费用 AWS KMS CMKs。有关更多信息，请参阅《AWS Key Management Service 开发者指南》中的AWS Key Management Service 概念——客户主密钥 (CMKs) 和AWS Key Management Service 定价。

使用连接器所需的权限

如果你使用的是 AWS Glue 用于访问数据存储的自定义连接器和连接，该角色用于运行 AWS Glue ETL作业需要附加其他权限：

  • AmazonEC2ContainerRegistryReadOnly用于访问从中购买的连接器的AWS托管策略 AWS Marketplace。

  • glue:GetJob 和 glue:GetJobs 权限。

  • AWS Secrets Manager 访问用于连接的密钥的权限。有关IAM策略示例，请参阅示例：检索机密值的权限。

如果您的 AWS Glue ETL任务在VPC正在运行的 Amazon 中运行VPC，则VPC必须按照中所述进行配置为 ETL 任务配置 VPC。