Revise IAM as permissões necessárias para ETL trabalhos - AWS Glue
Permissões de origem e destino dos dadosPermissões necessárias para excluir trabalhosAWS Key Management Service permissõesPermissões necessárias para usar conectores

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Revise IAM as permissões necessárias para ETL trabalhos

Quando você cria um trabalho usando AWS Glue Studio, o trabalho pressupõe as permissões da IAM função que você especifica ao criá-la. Essa IAM função deve ter permissão para extrair dados de sua fonte de dados, gravar dados em seu destino e acessar AWS Glue recursos.

O nome da função que você cria para o trabalho deve começar com a string AWSGlueServiceRole para que ela seja usada corretamente pelo AWS Glue Studio. Por exemplo, você pode nomear sua funçãoAWSGlueServiceRole-FlightDataJob.

Permissões de origem e destino dos dados

Uma AWS Glue Studio O trabalho deve ter acesso ao Amazon S3 para todas as fontes, destinos, scripts e diretórios temporários que você usa em seu trabalho. Você pode criar uma política para fornecer acesso minucioso a recursos específicos do Amazon S3.

  • As fontes de dados exigem permissões s3:ListBucket e s3:GetObject.

  • Os destinos de dados exigem permissões s3:ListBucket, s3:PutObject e s3:DeleteObject.

nota

Sua IAM política precisa considerar os buckets específicos usados s3:GetObject para hospedar as AWS Glue transformações.

Os compartimentos a seguir pertencem à conta de AWS serviço e podem ser lidos em todo o mundo. Esses buckets servem como um repositório para o código-fonte pertinente a um subconjunto de transformações acessíveis por meio do editor visual. AWS Glue Studio As permissões no bucket são configuradas para negar qualquer outra API ação no bucket. Qualquer pessoa pode ler os scripts que fornecemos para as transformações, mas ninguém fora da nossa equipe de serviço pode "colocar" nada neles. Quando seu AWS Glue trabalho é executado, esse arquivo é extraído como uma importação local para que o arquivo seja baixado para o contêiner local. Depois disso, não há mais comunicação com essa conta.

Região: Nome do bucket

  • af-south-1: -762339736633- aws-glue-studio-transforms -1 prod-af-south

  • ap-east-1: -125979764932- aws-glue-studio-transforms -1 prod-ap-east

  • ap-northeast-2: -673535381443- -2 aws-glue-studio-transforms prod-ap-northeast

  • ap-northeast-3: -149976050262- -3 aws-glue-studio-transforms prod-ap-northeast

  • ap-south-1: -584702181950- aws-glue-studio-transforms -1 prod-ap-south

  • ap-south-2: -380279651983- aws-glue-studio-transforms -2 prod-ap-south

  • ap-southeast-1 ap-southeast-1: -737106620487- -1 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-2: -234881715811- -2 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-3: -151265630221- -3 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-4: -052235663858- -4 aws-glue-studio-transforms prod-ap-southeast

  • ca-central-1: -622716468547- -1 aws-glue-studio-transforms prod-ca-central

  • ca-west-1: -915795495192- aws-glue-studio-transforms -1 prod-ca-west

  • eu-central-1: -56037323 2017- -1 aws-glue-studio-transforms prod-eu-central

  • eu-central-2: -907358657121- -2 aws-glue-studio-transforms prod-eu-central

  • eu-north-1: -312557305497- aws-glue-studio-transforms -1 prod-eu-north

  • eu-south-1: -939684186351- aws-glue-studio-transforms -1 prod-eu-south

  • eu-south-2: -239737454084- aws-glue-studio-transforms -2 prod-eu-south

  • eu-west-1: -244479516193- aws-glue-studio-transforms -1 prod-eu-west

  • eu-west-2: -804222392271- aws-glue-studio-transforms -2 prod-eu-west

  • eu-west-3: -371299348807- -3 aws-glue-studio-transforms prod-eu-west

  • il-central-1: -806964611811- -1 aws-glue-studio-transforms prod-il-central

  • me-central-1: -733304270342- -1 aws-glue-studio-transforms prod-me-central

  • me-south-1: -112120182341- aws-glue-studio-transforms -1 prod-me-south

  • sa-east-1: -881619130292- aws-glue-studio-transforms -1 prod-sa-east

  • us-east-1: -510798373988- -1 aws-glue-studio-transforms prod-us-east

  • us-east-2: -251189692203- -2 aws-glue-studio-transforms prod-us-east

  • us-west-1: -593230150239- -1 aws-glue-studio-transforms prod-us-west

  • us-west-2: -818035625594- -2 aws-glue-studio-transforms prod-us-west

  • ap-northeast-1: -200493242866- -1 aws-glue-studio-transforms prod-ap-northeast

  • cn-norte-1: -071033555442- -1 aws-glue-studio-transforms prod-cn-north

  • cn-noroeste-1: -070947029561-1 aws-glue-studio-transforms prod-cn-northwest

  • us-gov-west-1: aws-glue-studio-transforms -227493901923- -1-2604 prod-us-gov-west

Se você escolher Amazon Redshift como fonte de dados, poderá fornecer uma função para as permissões do cluster. Os trabalhos executados em um Amazon Redshift cluster emitem comandos que acessam o Amazon S3 para armazenamento temporário usando credenciais temporárias. Se o trabalho for executado por mais de uma hora, essas credenciais expirarão, fazendo com que o trabalho falhe. Para evitar esse problema, você pode atribuir uma função ao próprio cluster do Amazon Redshift que concede as permissões necessárias aos trabalhos utilizando credenciais temporárias. Para obter mais informações, consulte Mover dados de e para o Amazon RedShift no Guia do desenvolvedor do AWS Glue .

Se o trabalho usar fontes de dados ou destinos diferentes do Amazon S3, você deverá anexar as permissões necessárias à IAM função usada pelo trabalho para acessar essas fontes e destinos de dados. Para obter mais informações, consulte Configurar seu ambiente para acessar armazenamentos de dados no Guia do desenvolvedor do AWS Glue .

Se você estiver usando conectores e conexões para seu armazenamento de dados, precisará de permissões adicionais, conforme descrito em Permissões necessárias para usar conectores.

Permissões necessárias para excluir trabalhos

Em AWS Glue Studio você pode selecionar vários trabalhos no console para excluir. Para executar essa ação, você deve ter a permissão glue:BatchDeleteJob. Isso é diferente do AWS Glue console, que requer a glue:DeleteJob permissão para excluir trabalhos.

AWS Key Management Service permissões

Se você planeja acessar fontes e destinos do Amazon S3 que usam criptografia do lado do servidor com AWS Key Management Service (AWS KMS), anexe uma política ao AWS Glue Studio função usada pela tarefa que permite que a tarefa decodifique os dados. A função de trabalho precisa das permissões kms:ReEncrypt, kms:GenerateDataKey e kms:DescribeKey. Além disso, a função de trabalho precisa da kms:Decrypt permissão para carregar ou baixar um objeto do Amazon S3 criptografado com uma chave mestra AWS KMS do cliente ()CMK.

Há taxas adicionais pelo uso AWS KMS CMKs. Para obter mais informações, consulte AWS Key Management Service Conceitos - Chaves mestras do cliente (CMKs) e AWS Key Management Service preços no Guia do AWS Key Management Service desenvolvedor.

Permissões necessárias para usar conectores

Se você estiver usando um AWS Glue Conector personalizado e conexão para acessar um armazenamento de dados, a função usada para executar o AWS Glue ETLo trabalho precisa de permissões adicionais anexadas:

  • A política AWS gerenciada AmazonEC2ContainerRegistryReadOnly para acessar os conectores adquiridos AWS Marketplace em.

  • As permissões glue:GetJob e glue:GetJobs.

  • AWS Secrets Manager permissões para acessar segredos que são usados com conexões. Consulte Exemplo: Permissão para recuperar valores secretos, por exemplo, IAM políticas.

Se suas receitas AWS Glue ETLO trabalho é executado em uma Amazon VPC em execução eVPC, em seguida, VPC deve ser configurado conforme descrito emConfigurar uma VPC para seu trabalho de ETL.