View a markdown version of this page

透過 VPC 連線至私有 REST APIs - AWS Glue
運作方式先決條件建立 VPC REST 連線ETL 任務中的 VPC 行為考量事項

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

透過 VPC 連線至私有 REST APIs

若要連線至只能在 Amazon Virtual Private Cloud (Amazon VPC) 內存取的私有 REST APIs，請使用具有 VPC 組態的 REST API 連線。這包括 VPN、 AWS PrivateLink 或防火牆後方APIs。

運作方式

AWS Glue 會在 VPC 中建立彈性網路介面 (ENIs)，以建立與私有 REST API 的連線。

先決條件

透過 VPC 連線至私有 REST API 之前，請確定下列事項：

  • 具有至少一個子網路和安全群組的 VPC

  • 自我參考的安全群組規則 （所有 TCP)，讓 AWS Glue 可以在安全群組內通訊

  • 從 VPC 到目標 REST API 的網路連線

  • 下列 IAM 許可：ec2:DescribeNetworkInterfaces、 ec2:CreateNetworkInterface和 ec2:DeleteNetworkInterface

建立 VPC REST 連線

包含在CreateConnection請求PhysicalConnectionRequirements中：


{
    "ConnectionInput": {
        "Name": "connection-name",
        "ConnectionType": "REST-connection-type",
        "PhysicalConnectionRequirements": {
            "SubnetId": "subnet-id",
            "SecurityGroupIdList": ["security-group-id"],
            "AvailabilityZone": "availability-zone"
        },
        "AuthenticationConfiguration": { ... }
    }
}

ETL 任務中的 VPC 行為

當您使用 VPC REST 連線執行 ETL 任務時，適用下列行為：

  • AWS Glue 使用來自連線子網路的 ENIsSpark，將執行器放置在 VPC 中。

  • REST Spark 連接器會在Spark執行器中執行處理中。

  • AWS Glue 透過基礎設施代理路由 AWS API 存取。

  • 任務執行角色必須具有 glue:DescribeConnectionType許可。

考量事項

當您使用具有 REST API 連線的 VPC 時，請考慮下列事項：

  • ENI 佈建可能會在第一次建立連線時增加延遲。

  • AWS Glue 不支援 VPC REST 連線的自訂代理或自訂憑證。

  • AWS Glue 一次僅支援每個任務一個 VPC。