View a markdown version of this page

Conecte-se a API REST privadas por uma VPC - AWS Glue
Como funcionaPré-requisitosCriar uma conexão de REST na VPCComportamento da VPC em trabalhos de ETLConsiderações

Conecte-se a API REST privadas por uma VPC

Para se conectar a API REST privadas acessíveis somente dentro de uma Amazon Virtual Private Cloud (Amazon VPC), use a configuração de conexão da API REST com a VPC. Isso inclui APIs por trás de uma VPN, AWS PrivateLink ou firewall.

Como funciona

O AWS Glue cria interfaces de rede elásticas (ENIs) na VPC para estabelecer conectividade com a API REST privada.

Pré-requisitos

Antes de se conectar a uma API REST privada por uma VPC, certifique-se de ter o seguinte:

  • Uma VPC com pelo menos uma sub-rede e um grupo de segurança

  • Uma regra de grupo de segurança autorreferenciada (todo TCP) para que o AWS Glue possa se comunicar dentro do grupo de segurança

  • Conectividade de rede da VPC com a API REST de destino

  • As seguintes permissões do IAM: ec2:CreateNetworkInterface, ec2:DescribeNetworkInterfaces e ec2:DeleteNetworkInterface

Criar uma conexão de REST na VPC

Inclua PhysicalConnectionRequirements na solicitação CreateConnection: 


{
    "ConnectionInput": {
        "Name": "connection-name",
        "ConnectionType": "REST-connection-type",
        "PhysicalConnectionRequirements": {
            "SubnetId": "subnet-id",
            "SecurityGroupIdList": ["security-group-id"],
            "AvailabilityZone": "availability-zone"
        },
        "AuthenticationConfiguration": { ... }
    }
}

Comportamento da VPC em trabalhos de ETL

Quando você executa um trabalho de ETL com uma conexão REST na VPC, o seguinte comportamento se aplica:

  • O AWS Glue coloca executores do Spark na VPC usando as ENIs da sub-rede da conexão.

  • O conector Spark do REST é executado em processo nos executores Spark.

  • O AWS Glue roteia o acesso à API da AWS por meio de um proxy de infraestrutura.

  • O perfil de execução do trabalho deve ter a permissão glue:DescribeConnectionType.

Considerações

Considere o seguinte ao usar uma VPC com conexões de API REST:

  • O provisionamento da ENI pode adicionar latência na criação da primeira conexão.

  • O conector do AWS Glue não é compatível com proxies personalizados ou certificados personalizados para conexões de REST com VPC.

  • AWS Glue é compatível apenas com uma VPC por trabalho ao mesmo tempo.