View a markdown version of this page

VPC 経由でのプライベート REST API への接続 - AWS Glue
仕組み前提条件VPC REST 接続の作成ETL ジョブでの VPC の動作考慮事項

VPC 経由でのプライベート REST API への接続

Amazon Virtual Private Cloud (Amazon VPC) 内でのみアクセス可能なプライベート REST API に接続するには、VPC 設定で REST API 接続を使用します。これには、VPN、AWS PrivateLink、またはファイアウォールの背後にある API が含まれます。

仕組み

AWS Glue は VPC に Elastic Network Interface (ENI) を作成して、プライベート REST API への接続を確立します。

前提条件

VPC 経由でプライベート REST API に接続する前に、以下を確認します。

  • 少なくとも 1 つのサブネットとセキュリティグループを持つ VPC

  • AWS Glue がセキュリティグループ内で通信できるようにするための自己参照セキュリティグループルール (全 TCP)

  • VPC からターゲット REST API へのネットワーク接続

  • 以下の IAM アクセス許可: ec2:CreateNetworkInterface、ec2:DescribeNetworkInterfaces、ec2:DeleteNetworkInterface

VPC REST 接続の作成

CreateConnection リクエストに PhysicalConnectionRequirements を含めます。


{
    "ConnectionInput": {
        "Name": "connection-name",
        "ConnectionType": "REST-connection-type",
        "PhysicalConnectionRequirements": {
            "SubnetId": "subnet-id",
            "SecurityGroupIdList": ["security-group-id"],
            "AvailabilityZone": "availability-zone"
        },
        "AuthenticationConfiguration": { ... }
    }
}

ETL ジョブでの VPC の動作

VPC REST 接続を使用して ETL ジョブを実行する場合、次の動作が適用されます。

  • AWS Glue は、接続のサブネットにある ENI を使用して、VPC に Spark エグゼキュターを配置します。

  • REST Spark コネクタは、Spark エグゼキュター内のインプロセスで実行されます。

  • AWS Glue は、インフラストラクチャプロキシを介して AWS API アクセスをルーティングします。

  • ジョブ実行ロールには、glue:DescribeConnectionType アクセス許可が必要です。

考慮事項

REST API 接続で VPC を使用する場合は、次の点を考慮してください。

  • ENI プロビジョニングにより、最初の接続作成時にレイテンシーが生じる可能性があります。

  • AWS Glue は、VPC REST 接続向けのカスタムプロキシまたはカスタム証明書をサポートしていません。

  • AWS Glue は、ジョブあたり一度に 1 つの VPC のみをサポートします。