Problemas conocidos de AWS Glue - AWS Glue
Prevención del acceso a datos entre trabajos

Problemas conocidos de AWS Glue

Tenga presente los siguientes problemas conocidos de AWS Glue.

Prevención del acceso a datos entre trabajos

Considere la siguiente situación: tiene dos trabajos de AWS Glue Spark en una única cuenta de AWS, cada uno de ellos ejecutándose en un clúster de AWS Glue Spark independiente. Los trabajos utilizan conexiones de AWS Glue para obtener acceso a los recursos de la misma nube virtual privada (VPC). En esta situación, un trabajo que se ejecuta en un clúster podría tener acceso a los datos del trabajo que se ejecuta en el otro clúster.

El siguiente diagrama ilustra un ejemplo de esta situación.

El trabajo Job-1 de AWS Glue en Cluster-1 y Job-2 en Cluster-2 se comunica con una instancia de Amazon Redshift en la Subnet-1 dentro de una VPC. Los datos se transfieren desde el Bucket-1 y Bucket-2 de Amazon S3 hasta Amazon Redshift.

En el diagrama, Job-1 de AWS Glue se ejecuta en Cluster-1, y Job-2 se ejecuta en Cluster-2. Ambos trabajos funcionan con la misma instancia de Amazon Redshift, que reside en la Subnet-1 de una VPC. La Subnet-1 podría ser una subred pública o privada.

Job-1 transforma los datos del Bucket-1 de Amazon Simple Storage Service (Amazon S3) y escribe los datos a Amazon Redshift. Job-2 hace lo mismo con los datos en el Bucket-2. Job-1 utiliza el rol (IAM) Role-1 de AWS Identity and Access Management (no se muestra), que otorga acceso al Bucket-1. Job-2 utiliza el Role-2 (no se muestra), que otorga acceso al Bucket-2.

Estos trabajos tienen rutas de red que les permiten comunicarse con los clústeres de los demás y, por lo tanto, obtener acceso a los datos de los demás. Por ejemplo, Job-2 podría obtener acceso a los datos de Bucket-1. En el diagrama, se muestra como la ruta en rojo.

Para evitar esta situación, le recomendamos asociar diferentes configuraciones de seguridad a Job-1 y Job-2. Al asociar las configuraciones de seguridad, el acceso entre trabajos a los datos se bloquea en virtud de los certificados que AWS Glue crea. Las configuraciones de seguridad pueden ser configuraciones ficticias. Es decir, puede crear las configuraciones de seguridad sin habilitar el cifrado de datos de Amazon S3, datos de Amazon CloudWatch o marcadores de trabajos. Las tres opciones de cifrado se pueden deshabilitar.

Para obtener información acerca de las configuraciones de seguridad, consulte Cifrado de datos escritos por AWS Glue.

Para asociar una configuración de seguridad a un trabajo

  1. Abra la consola de AWS Glue en https://console.aws.amazon.com/glue/.

  2. En la página Configure the job properties (Configurar propiedades del trabajo) del trabajo, expanda la sección Security configuration, script libraries and job parameters (Seguridad, configuración, bibliotecas de scripts y parámetros de trabajo).

  3. Seleccione una configuración de seguridad en la lista.