View a markdown version of this page

VPC를 통해 프라이빗 REST API에 연결 - AWS Glue
작동 방식사전 조건VPC REST 연결 생성ETL 작업에서 VPC 동작고려 사항

VPC를 통해 프라이빗 REST API에 연결

Amazon Virtual Private Cloud(Amazon VPC) 내에서만 액세스할 수 있는 프라이빗 REST API에 연결하려면 REST API 연결을 VPC 구성과 함께 사용합니다. 여기에는 VPN, AWS PrivateLink 또는 방화벽 뒤의 API가 포함됩니다.

작동 방식

AWS Glue는 VPC에 탄력적 네트워크 인터페이스(ENI)를 생성하여 프라이빗 REST API에 대한 연결을 설정합니다.

사전 조건

VPC를 통해 프라이빗 REST API에 연결하기 전에 다음을 확인하세요.

  • 서브넷 및 보안 그룹이 하나 이상 있는 VPC

  • AWS Glue가 보안 그룹 내에서 통신할 수 있도록 하는 자체 참조 보안 그룹 규칙(모든 TCP)

  • VPC에서 대상 REST API로의 네트워크 연결

  • 다음 IAM 권한: ec2:CreateNetworkInterface, ec2:DescribeNetworkInterfaces, ec2:DeleteNetworkInterface

VPC REST 연결 생성

CreateConnection 요청에 PhysicalConnectionRequirements를 포함시킵니다.


{
    "ConnectionInput": {
        "Name": "connection-name",
        "ConnectionType": "REST-connection-type",
        "PhysicalConnectionRequirements": {
            "SubnetId": "subnet-id",
            "SecurityGroupIdList": ["security-group-id"],
            "AvailabilityZone": "availability-zone"
        },
        "AuthenticationConfiguration": { ... }
    }
}

ETL 작업에서 VPC 동작

VPC REST 연결로 ETL 작업을 실행하면 다음 동작이 적용됩니다.

  • AWS Glue는 연결 서브넷의 ENI를 사용하여 Spark 실행기를 VPC에 배치합니다.

  • REST Spark 커넥터는 Spark 실행기 내에서 인프로세스로 실행됩니다.

  • AWS Glue는 인프라 프록시를 통해 AWS API 액세스를 라우팅합니다.

  • 작업 실행 역할에는 glue:DescribeConnectionType 권한이 있어야 합니다.

고려 사항

VPC를 REST API 연결과 함께 사용할 때는 다음 사항을 고려하세요.

  • ENI 프로비저닝으로 인해 첫 번째 연결 생성 시 지연 시간이 추가될 수 있습니다.

  • AWS Glue는 VPC REST 연결을 위한 사용자 지정 프록시 또는 사용자 지정 인증서를 지원하지 않습니다.

  • AWS Glue는 한 번에 작업당 하나의 VPC만 지원합니다.