View a markdown version of this page

Conexión a las API de REST privadas a través de una VPC - AWS Glue
FuncionamientoRequisitos previosCreación de una conexión de REST de la VPCComportamiento de la VPC en los trabajos de ETLConsideraciones

Conexión a las API de REST privadas a través de una VPC

Para conectarse a API de REST privadas accesibles solo desde una Amazon Virtual Private Cloud (Amazon VPC), use una conexión de API de REST con una configuración de VPC. Esto incluye las API detrás de una VPN, AWS PrivateLink o firewall.

Funcionamiento

AWS Glue crea interfaces de red elásticas (ENI) en la VPC para establecer la conectividad con la API de REST privada.

Requisitos previos

Antes de conectarse a una API de REST privada a través de una VPC, asegúrese de lo siguiente:

  • Una VPC con al menos una subred y un grupo de seguridad

  • Una regla de grupo de seguridad autorreferenciante (todo TCP) para que AWS Glue pueda comunicarse dentro del grupo de seguridad

  • Conectividad de red desde la VPC a la API de REST de destino

  • Los siguientes permisos de IAM: ec2:CreateNetworkInterface, ec2:DescribeNetworkInterfaces y ec2:DeleteNetworkInterface

Creación de una conexión de REST de la VPC

Incluya PhysicalConnectionRequirements en la solicitud CreateConnection: 


{
    "ConnectionInput": {
        "Name": "connection-name",
        "ConnectionType": "REST-connection-type",
        "PhysicalConnectionRequirements": {
            "SubnetId": "subnet-id",
            "SecurityGroupIdList": ["security-group-id"],
            "AvailabilityZone": "availability-zone"
        },
        "AuthenticationConfiguration": { ... }
    }
}

Comportamiento de la VPC en los trabajos de ETL

Al ejecutar un trabajo de ETL con una conexión de REST de la VPC, se aplica el siguiente comportamiento:

  • AWS Glue coloca ejecutores de Spark en la VPC mediante ENI de la subred de la conexión.

  • El conector de Spark de REST se ejecuta en proceso dentro de los ejecutores de Spark.

  • AWS Glue enruta el acceso a las API de AWS a través de un proxy de infraestructura.

  • El rol de ejecución del trabajo debe tener el permiso glue:DescribeConnectionType.

Consideraciones

Tenga en cuenta lo siguiente al utilizar una VPC con conexiones a API de REST:

  • El aprovisionamiento de ENI puede agregar latencia al crear la primera conexión.

  • AWS Glue no admite proxies personalizados ni certificados personalizados para las conexiones de REST de la VPC.

  • AWS Glue solo admite una VPC por trabajo a la vez.