使用私有路由在 Amazon VPC 中建立所需的虛擬私人雲端服務端點 - Amazon Managed Workflows for Apache Airflow
定價私人網路和私人路由(必要) VPC 端點附加必要的 VPC 端點(選擇性) 為您的 Amazon S3 虛擬私人雲端介面端點啟用私有 IP 地址

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用私有路由在 Amazon VPC 中建立所需的虛擬私人雲端服務端點

沒有網際網路存取的現有 Amazon VPC 人雲端網路需要額外的 VPC 人雲端服務端點 (AWS PrivateLink)，才能在 Amazon 受管工作流程上使用 Apache 氣流進行 本頁說明 Amazon MWAA 所使用之 AWS 服務所需的虛擬私人雲端端點、Apache 氣流所需的虛擬私人雲端端點，以及如何使用私有路由建立 VPC 端點並將其連接到現有的 Amazon VPC。

定價

私人網路和私人路由

此影像顯示具有私有 Web 伺服器之 Amazon MWAA 環境的架構。

私有網路存取模式可將 Apache Airflow UI 的存取權限限制為 Amazon VPC 中已授予您環境 IAM 政策存取權的使用者。

當您創建具有私有 Web 服務器訪問權限的環境時，必須將所有依賴項打包到 Python wheel 存檔（.whl）中，然後.whl在requirements.txt. 有關使用 wheel 打包和安裝依賴項的說明，請參閱使用 Python wheel 管理依賴關係。

下圖顯示 Amazon MWAA 主控台上哪裡可以找到私人網路選項。

此影像顯示 Amazon MWAA 主控台上哪裡可以找到私人網路選項。

  • 私人路由。沒有網際網路存取權的 Amazon VPC 會限制 VPC 內的網路流量。此頁面假設您的 Amazon VPC 沒有網際網路存取權限，且您的環境所使用的每個 AWS 服務都需要 VPC 端點，以及 Amazon MWAA 環境位於相同 AWS 區域和 Amazon VPC 中的 Apache 氣流的 VPC 端點。

(必要) VPC 端點

以下部分顯示無法存取網際網路的 Amazon VPC 所需的必要 VPC 端點。它會列出 Amazon MWAA 所使用之每個 AWS 服務的虛擬私人雲端節點，包括 Apache 氣流所需的 VPC 端點。

com.amazonaws.YOUR_REGION.s3
com.amazonaws.YOUR_REGION.monitoring
com.amazonaws.YOUR_REGION.ecr.dkr
com.amazonaws.YOUR_REGION.ecr.api
com.amazonaws.YOUR_REGION.logs
com.amazonaws.YOUR_REGION.sqs
com.amazonaws.YOUR_REGION.kms
com.amazonaws.YOUR_REGION.airflow.api
com.amazonaws.YOUR_REGION.airflow.env
com.amazonaws.YOUR_REGION.airflow.ops

附加必要的 VPC 端點

本節說明使用私有路由連接 Amazon VPC 所需的 VPC 端點的步驟。

服務所需的 AWS VPC 端點

下節說明將環境使用之 AWS 服務的 VPC 端點連接到現有 Amazon VPC 的步驟。

將 VPC 端點附加到私有子網路

  1. 在 Amazon VPC 主控台上開啟「端點」頁面。

  2. 使用「 AWS 地區」選取器選取您的地區。

  3. 為 Amazon S3 建立端點：

    1. 選擇建立端點。

    2. 在「依屬性篩選」或「依關鍵字搜尋」文字欄位中.s3，輸入:，然後按鍵盤上的 Enter。

    3. 建議您選擇針對閘道類型列出的服務端點。

      例如：com.amazonaws.us-west-2.s3 amazon Gateway

    4. 在 VPC 中選擇您環境的 Amazon V PC。

    5. 確定已選取位於不同可用區域中的兩個私人子網路，並透過選取啟用 DNS 名稱啟用該私人 DNS。

    6. 選擇您環境的 Amazon VPC 安全群組。

    7. 在策略中選擇「完整存取」。

    8. 選擇建立端點。

  4. 為 Amazon ECR 建立第一個端點：

    1. 選擇建立端點。

    2. 在「依屬性篩選」或「依關鍵字搜尋」文字欄位中.ecr.dkr，輸入:，然後按鍵盤上的 Enter。

    3. 選取服務端點。

    4. 在 VPC 中選擇您環境的 Amazon V PC。

    5. 確定已選取位於不同可用區域中的兩個私人子網路，並已啟用「啟用 DNS 名稱」。

    6. 選擇您環境的 Amazon VPC 安全群組。

    7. 在策略中選擇「完整存取」。

    8. 選擇建立端點。

  5. 為 Amazon ECR 建立第二個端點：

    1. 選擇建立端點。

    2. 在「依屬性篩選」或「依關鍵字搜尋」文字欄位中.ecr.api，輸入:，然後按鍵盤上的 Enter。

    3. 選取服務端點。

    4. 在 VPC 中選擇您環境的 Amazon V PC。

    5. 確定已選取位於不同可用區域中的兩個私人子網路，並已啟用「啟用 DNS 名稱」。

    6. 選擇您環境的 Amazon VPC 安全群組。

    7. 在策略中選擇「完整存取」。

    8. 選擇建立端點。

  6. 建立記 CloudWatch 錄檔的端點：

    1. 選擇建立端點。

    2. 在「依屬性篩選」或「依關鍵字搜尋」文字欄位中.logs，輸入:，然後按鍵盤上的 Enter。

    3. 選取服務端點。

    4. 在 VPC 中選擇您環境的 Amazon V PC。

    5. 確定已選取位於不同可用區域中的兩個私人子網路，並已啟用「啟用 DNS 名稱」。

    6. 選擇您環境的 Amazon VPC 安全群組。

    7. 在策略中選擇「完整存取」。

    8. 選擇建立端點。

  7. 建立用於 CloudWatch 監控的端點：

    1. 選擇建立端點。

    2. 在「依屬性篩選」或「依關鍵字搜尋」文字欄位中.monitoring，輸入:，然後按鍵盤上的 Enter。

    3. 選取服務端點。

    4. 在 VPC 中選擇您環境的 Amazon V PC。

    5. 確定已選取位於不同可用區域中的兩個私人子網路，並已啟用「啟用 DNS 名稱」。

    6. 選擇您環境的 Amazon VPC 安全群組。

    7. 在策略中選擇「完整存取」。

    8. 選擇建立端點。

  8. 為 Amazon SQS 建立端點：

    1. 選擇建立端點。

    2. 在「依屬性篩選」或「依關鍵字搜尋」文字欄位中.sqs，輸入:，然後按鍵盤上的 Enter。

    3. 選取服務端點。

    4. 在 VPC 中選擇您環境的 Amazon V PC。

    5. 確定已選取位於不同可用區域中的兩個私人子網路，並已啟用「啟用 DNS 名稱」。

    6. 選擇您環境的 Amazon VPC 安全群組。

    7. 在策略中選擇「完整存取」。

    8. 選擇建立端點。

  9. 為以下項目建立端點 AWS KMS：

    1. 選擇建立端點。

    2. 在「依屬性篩選」或「依關鍵字搜尋」文字欄位中.kms，輸入:，然後按鍵盤上的 Enter。

    3. 選取服務端點。

    4. 在 VPC 中選擇您環境的 Amazon V PC。

    5. 確定已選取位於不同可用區域中的兩個私人子網路，並已啟用「啟用 DNS 名稱」。

    6. 選擇您環境的 Amazon VPC 安全群組。

    7. 在策略中選擇「完整存取」。

    8. 選擇建立端點。

阿帕奇氣流所需的 VPC 端點

下節說明將 Apache 氣流的虛擬私人雲端端點連接到現有的 Amazon VPC 的步驟。

將 VPC 端點附加到私有子網路

  1. 在 Amazon VPC 主控台上開啟「端點」頁面。

  2. 使用「 AWS 地區」選取器選取您的地區。

  3. 為 Apache 氣流 API 建立端點：

    1. 選擇建立端點。

    2. 在「依屬性篩選」或「依關鍵字搜尋」文字欄位中.airflow.api，輸入:，然後按鍵盤上的 Enter。

    3. 選取服務端點。

    4. 在 VPC 中選擇您環境的 Amazon V PC。

    5. 確定已選取位於不同可用區域中的兩個私人子網路，並已啟用「啟用 DNS 名稱」。

    6. 選擇您環境的 Amazon VPC 安全群組。

    7. 在策略中選擇「完整存取」。

    8. 選擇建立端點。

  4. 為 Apache 氣流環境建立第一個端點：

    1. 選擇建立端點。

    2. 在「依屬性篩選」或「依關鍵字搜尋」文字欄位中.airflow.env，輸入:，然後按鍵盤上的 Enter。

    3. 選取服務端點。

    4. 在 VPC 中選擇您環境的 Amazon V PC。

    5. 確定已選取位於不同可用區域中的兩個私人子網路，並已啟用「啟用 DNS 名稱」。

    6. 選擇您環境的 Amazon VPC 安全群組。

    7. 在策略中選擇「完整存取」。

    8. 選擇建立端點。

  5. 為 Apache 氣流作業建立第二個端點：

    1. 選擇建立端點。

    2. 在「依屬性篩選」或「依關鍵字搜尋」文字欄位中.airflow.ops，輸入:，然後按鍵盤上的 Enter。

    3. 選取服務端點。

    4. 在 VPC 中選擇您環境的 Amazon V PC。

    5. 確定已選取位於不同可用區域中的兩個私人子網路，並已啟用「啟用 DNS 名稱」。

    6. 選擇您環境的 Amazon VPC 安全群組。

    7. 在策略中選擇「完整存取」。

    8. 選擇建立端點。

(選擇性) 為您的 Amazon S3 虛擬私人雲端介面端點啟用私有 IP 地址

Amazon S3 界面端點不支援私有 DNS。S3 端點請求仍會解析為公用 IP 位址。若要將 S3 位址解析為私有 IP 位址，您需要在 Route 53 中為 S3 區域端點新增私有託管區域。

使用 Route 53

本節說明使用 Route 53 為 S3 介面端點啟用私有 IP 位址的步驟。

  1. 為您的 Amazon S3 虛擬私人雲端介面端點 (例如，西部 1.amazonaws.com) 建立私有託管區域，並將其與您的 Amazon VPC 建立關聯。

  2. 為您的 Amazon S3 虛擬私人雲端介面端點 (例如，西部 1.amazonaws.com) 建立別名 A 記錄，以解析為您的 VPC 介面端點 DNS 名稱。

  3. 為您的 Amazon S3 介面端點建立別名萬用字元記錄 (例如，*.s3.eu-西部 1.amazonaws.com)，以解析為 VPC 界面端點 DNS 名稱。

具有自訂 DNS 功能的 VPC

如果您的 Amazon VPC 使用自訂 DNS 路由，則需要透過建立 CNAME 記錄在 DNS 解析器中進行變更 (不是 Route 53，通常是執行 DNS 伺服器的 EC2 執行個體)。例如：

Name: s3.us-west-2.amazonaws.com
Type: CNAME
Value:  *.vpce-0f67d23e37648915c-e2q2e2j3.s3.us-west-2.vpce.amazonaws.com