Revise IAM los permisos necesarios para los ETL trabajos - AWS Glue
Permisos de origen de datos y destino de datosPermisos necesarios para eliminar trabajosAWS Key Management Service permisosPermisos necesarios para utilizar conectores

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Revise IAM los permisos necesarios para los ETL trabajos

Al crear un trabajo mediante AWS Glue Studio, el trabajo asume los permisos del IAM rol que especificó al crearlo. Este IAM rol debe tener permiso para extraer datos de la fuente de datos, escribir datos en el destino y acceder a AWS Glue los recursos.

El nombre del rol que cree para el trabajo debe empezar por la cadena AWSGlueServiceRole para que lo utilice correctamente AWS Glue Studio. Por ejemplo, podrías ponerle un nombre a tu funciónAWSGlueServiceRole-FlightDataJob.

Permisos de origen de datos y destino de datos

Un registro AWS Glue Studio job debe tener acceso a Amazon S3 para todas las fuentes, destinos, scripts y directorios temporales que utilice en su trabajo. Puede crear una política para proporcionar un acceso detallado a determinados recursos de Amazon S3.

  • Los orígenes de datos requieren permisos s3:ListBucket y s3:GetObject.

  • Los destinos de datos requieren permisos s3:ListBucket, s3:PutObject y s3:DeleteObject.

nota

Su IAM política debe tener en cuenta s3:GetObject los buckets específicos que se utilizan para alojar las AWS Glue transformaciones.

Los siguientes grupos pertenecen a la cuenta de AWS servicio y se pueden leer en todo el mundo. Estos cubos sirven como repositorio del código fuente correspondiente a un subconjunto de transformaciones accesibles mediante el AWS Glue Studio editor visual. Los permisos del bucket están configurados para denegar cualquier otra API acción del bucket. Los scripts que proporcionamos para las transformaciones pueden ser leídos por cualquier persona, pero nadie ajeno a nuestro equipo de servicio puede “poner” nada en ellos. Cuando se ejecuta el AWS Glue trabajo, ese archivo se extrae como importación local y, por lo tanto, se descarga en el contenedor local. Después de eso, no hay más comunicación con esa cuenta.

Región: nombre del bucket

  • af-south-1: -762339736633- aws-glue-studio-transforms -1 prod-af-south

  • ap-east-1: -125979764932- aws-glue-studio-transforms -1 prod-ap-east

  • ap-northeast-2: -673535381443- -2 aws-glue-studio-transforms prod-ap-northeast

  • ap-northeast-3: -149976050262- -3 aws-glue-studio-transforms prod-ap-northeast

  • ap-south-1: aws-glue-studio-transforms -584702181950- -1 prod-ap-south

  • ap-south-2: -380279651983- aws-glue-studio-transforms -2 prod-ap-south

  • ap-southeast-1: -737106620487- -1 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-2: -234881715811- -2 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-3: -151265630221- -3 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-4: -052235663858- -4 aws-glue-studio-transforms prod-ap-southeast

  • aws-glue-studio-transformsca-central-1: -622716468547- -1 prod-ca-central

  • ca-west-1: -915795495192- -1 aws-glue-studio-transforms prod-ca-west

  • eu-central-1: -560373232017 aws-glue-studio-transforms - -1 prod-eu-central

  • aws-glue-studio-transformseu-central-2: -907358657121- -2 prod-eu-central

  • eu-north-1: -312557305497- -1 aws-glue-studio-transforms prod-eu-north

  • eu-south-1: -939684186351- -1 aws-glue-studio-transforms prod-eu-south

  • eu-south-2: -239737454084- -2 aws-glue-studio-transforms prod-eu-south

  • eu-west-1: -244479516193- -1 aws-glue-studio-transforms prod-eu-west

  • eu-west-2: -804222392271- -2 aws-glue-studio-transforms prod-eu-west

  • eu-west-3: -371299348807- -3 aws-glue-studio-transforms prod-eu-west

  • aws-glue-studio-transformsil-central-1: -806964611811- -1 prod-il-central

  • me-central-1: -733304270342 aws-glue-studio-transforms - -1 prod-me-central

  • me-south-1: -112120182341- -1 aws-glue-studio-transforms prod-me-south

  • sa-east-1: -881619130292- -1 aws-glue-studio-transforms prod-sa-east

  • us-east-1: -510798373988- -1 aws-glue-studio-transforms prod-us-east

  • us-east-2: -251189692203- -2 aws-glue-studio-transforms prod-us-east

  • us-west-1: -593230150239- -1 aws-glue-studio-transforms prod-us-west

  • us-west-2: -818035625594- -2 aws-glue-studio-transforms prod-us-west

  • ap-northeast-1: -200493242866- -1 aws-glue-studio-transforms prod-ap-northeast

  • cn-north-1: aws-glue-studio-transforms -071033555442- -1 prod-cn-north

  • cn-northwest-1: aws-glue-studio-transforms -070947029561- -1 prod-cn-northwest

  • us-gov-west-1: aws-glue-studio-transforms -227493901923- -1-2604 prod-us-gov-west

Si lo eliges Amazon Redshift como fuente de datos, puedes proporcionar un rol para los permisos del clúster. Los trabajos que se ejecutan en un Amazon Redshift clúster emiten comandos que acceden a Amazon S3 para su almacenamiento temporal mediante credenciales temporales. Si el trabajo se ejecuta durante más de una hora, estas credenciales caducarán, y provocarán un error en el trabajo. Para evitar este problema, puede asignar un rol al clúster de Amazon Redshift que conceda los permisos necesarios a los trabajos que utilizan credenciales temporales. Para obtener más información, consulte Movimiento de datos desde y hacia Amazon Redshift en la Guía para desarrolladores de AWS Glue .

Si el trabajo utiliza fuentes de datos o destinos distintos de Amazon S3, debe adjuntar los permisos necesarios a la IAM función utilizada por el trabajo para acceder a estas fuentes y destinos de datos. Para obtener más información, consulte Configuración del entorno para obtener acceso a almacenes de datos en la Guía para desarrolladores de AWS Glue .

Si utiliza conectores y conexiones para el almacén de datos, necesita permisos adicionales, como se describe en Permisos necesarios para utilizar conectores.

Permisos necesarios para eliminar trabajos

En AWS Glue Studio puede seleccionar varios trabajos en la consola para eliminarlos. Para realizar esta acción, debe tener el permiso glue:BatchDeleteJob. Esto es diferente del AWS Glue consola, que requiere el glue:DeleteJob permiso para eliminar trabajos.

AWS Key Management Service permisos

Si planea acceder a las fuentes y destinos de Amazon S3 que utilizan el cifrado del lado del servidor con AWS Key Management Service (AWS KMS), adjunte una política al AWS Glue Studio rol utilizado por el trabajo que permite al trabajo descifrar los datos. El rol del trabajo necesita los permisos kms:ReEncrypt, kms:GenerateDataKey y kms:DescribeKey. Además, el puesto de trabajo necesita el kms:Decrypt permiso para cargar o descargar un objeto de Amazon S3 cifrado con una clave maestra AWS KMS del cliente (CMK).

Su uso conlleva cargos adicionales AWS KMS CMKs. Para obtener más información, consulte AWS Key Management Service Conceptos: claves maestras para el cliente (CMKs) y AWS Key Management Service precios en la Guía para AWS Key Management Service desarrolladores.

Permisos necesarios para utilizar conectores

Si utilizas un AWS Glue Conector y conexión personalizados para acceder a un banco de datos, el rol utilizado para ejecutar el AWS Glue ETLel trabajo necesita permisos adicionales adjuntos:

  • La política AWS gestionada AmazonEC2ContainerRegistryReadOnly para acceder a los conectores comprados en AWS Marketplace.

  • Los permisos glue:GetJob y glue:GetJobs.

  • AWS Secrets Manager permisos para acceder a los secretos que se utilizan con las conexiones. Consulte Ejemplo: permiso para recuperar valores secretos, por ejemplo, IAM políticas.

Si las recetas AWS Glue ETLel trabajo se ejecuta dentro de un Amazon en VPC ejecuciónVPC, entonces VPC debe configurarse como se describe enConfigurar una VPC para su trabajo de ETL.