Configuración de redes para el desarrollo de AWS Glue
Para ejecutar sus scripts del servicio ETL (extracción, transformación y carga) con AWS Glue, puede desarrollar y probar sus scripts mediante un punto de conexión de desarrollo. Los trabajos de la versión 2.0 de AWS Glue no soportan el uso de puntos de enlace desarrollo. Para las versiones 2.0 y posteriores, el método de desarrollo preferido es utilizar el bloc de notas de Jupyter con uno de los kernel de AWS Glue. Para obtener más información, consulte Introducción a las sesiones interactivas de AWS Glue.
Configuración de su red para un punto de conexión de desarrollo
Cuando configura un punto de enlace de desarrollo, debe especificar una nube virtual privada (VPC), una subred y los grupos de seguridad.
nota
Asegúrese de que configure su entorno de DNS para AWS Glue. Para obtener más información, consulte Configuración de DNS en la VPC.
Para que AWS Glue pueda obtener acceso a los recursos necesarios, agregue una fila a su tabla de ruta de la subred para asociar una lista de prefijos para Amazon S3 al punto de enlace de la VPC. Se necesita un ID de lista de prefijo para crear una regla de grupo de seguridad saliente que permita al tráfico de una VPC obtener acceso a un servicio de AWS a través de un punto de conexión de la VPC. Para facilitar la conexión a un servidor de blocs de notas que esté asociado a este punto de enlace de desarrollo, en el equipo local agregue una fila a la tabla de ruta para incorporar un ID de gateway de Internet. Para obtener más información, consulte Puntos de conexión de la VPC. Actualice las rutas de subred para que sean similares a la siguiente tabla:
| Destino | Objetivo |
|---|---|
10.0.0.0/16 |
local |
pl-id para Amazon S3 |
vpce-id |
0.0.0.0/0 |
igw-xxxx |
Para que AWS Glue pueda comunicarse entre sus componentes, especifique un grupo de seguridad con una regla de entrada con autorreferencia para todos los puertos TCP. Si crea una regla de entrada con autorreferencia, puede restringir el origen al mismo grupo de seguridad de la VPC y no está abierto a todas las redes. Puede que el grupo de seguridad predeterminado de la VPC ya tenga una regla de entrada con autorreferencia para ALL Traffic.
Para configurar un grupo de seguridad
Inicie sesión en la AWS Management Console y abra la consola de Amazon EC2 en https://console.aws.amazon.com/ec2/
. -
En el panel de navegación izquierdo, elija Security Groups.
-
Elija un grupo de seguridad ya existente en la lista o seleccione Create Security Group (Crear grupo de seguridad) para usarlo con el punto de enlace de desarrollo.
-
En el panel del grupo de seguridad, vaya a la pestaña Inbound (Entrante).
-
Añada una regla con autorreferencia para que los componentes de AWS Glue puedan comunicarse. En concreto, añada o confirme que hay una regla con Type (Tipo)
All TCP, Protocol (Protocolo)TCP, Port Range (Intervalo de puertos) con todos los puertos y el Source (Origen) con el mismo nombre de grupo de seguridad que Group ID (ID de grupo).La regla de entrada tiene un aspecto similar al siguiente:
Tipo Protocolo Intervalo de puertos Origen Todos los TCP
TCP
0–65535
security-groupA continuación se muestra un ejemplo de una regla de entrada con autorreferencia:
-
Añada también una regla para el tráfico saliente. Abra el tráfico saliente a todos los puertos o cree una regla con autorreferencia de Type (Tipo)
All TCP, Protocol (Protocolo)TCP, Port Range (Intervalo de puertos) con todos los puertos y el Source (Origen) con el mismo nombre de grupo de seguridad que Group ID (ID de grupo).La regla de salida será similar a una de estas reglas:
Tipo Protocolo Rango de puerto Destino Todos los TCP
TCP
0–65535
security-groupAll Traffic
ALL
ALL
0.0.0.0/0
Configuración de Amazon EC2 para el servidor de blocs de notas
Con un punto de conexión de desarrollo, puede crear un servidor de blocs de notas para probar sus scripts de ETL con cuaderno de Jupyter. Para habilitar la comunicación con su bloc de notas, especifique un grupo de seguridad con reglas de entrada tanto para HTTPS (puerto 443) como para SSH (puerto 22). Asegúrese de que el origen de la regla sea 0.0.0.0/0 o la dirección IP del equipo que se va a conectar al bloc de notas.
Para configurar un grupo de seguridad
Inicie sesión en la AWS Management Console y abra la consola de Amazon EC2 en https://console.aws.amazon.com/ec2/
. -
En el panel de navegación izquierdo, elija Security Groups.
-
Elija un grupo de seguridad ya existente en la lista o seleccione Create Security Group (Crear grupo de seguridad) para usarlo con su servidor de blocs de notas. El grupo de seguridad asociado con su punto de enlace de desarrollo también se utiliza para crear su servidor de blocs de notas.
-
En el panel del grupo de seguridad, vaya a la pestaña Inbound (Entrante).
-
Añada reglas de entrada similares a la siguiente:
Tipo Protocolo Intervalo de puertos Origen SSH
TCP
22
0.0.0.0/0
HTTPS
TCP
443
0.0.0.0/0
A continuación se muestra un ejemplo de las reglas de entrada del grupo de seguridad:
