阿帕奇氣流存取模式 - Amazon Managed Workflows for Apache Airflow

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

阿帕奇氣流存取模式

適用於 Apache 氣流的 Amazon 受管工作流程主控台包含內建選項,可設定連接至環境中 Apache 氣流網路伺服器的私有或公有路由。本指南說明適用於 Apache 氣流環境的 Amazon 受管工作流程上 Apache Airflow 網路伺服器可用的存取模式,以及如果您選擇私有網路選項,則需要在 Amazon VPC 中設定的其他資源。

阿帕奇氣流存取模式

您可以為 Apache 氣流網頁伺服器選擇私人或公用路由。若要啟用私人路由,請選擇「私人網路」。這會限制使用者只能在 Amazon VPC 內存取 Apache 氣流網頁伺服器。若要啟用公用路由,請選擇 [公用網路]。這可讓使用者透過網際網路存取 Apache 氣流網頁伺服器

大眾網

下列架構圖顯示具有公用 Web 伺服器的 Amazon MWAA 環境。

此影像顯示具有私有 Web 伺服器之 Amazon MWAA 環境的架構。

公用網路存取模式允許被授予您環境 IAM 政策存取權的使用者透過網際網路存取 Apache Airflow UI。

下圖顯示 Amazon MWAA 主控台上哪裡可以找到公用網路選項。

此影像顯示可在 Amazon MWAA 主控台上找到公用網路選項的位置。

私人網路

下列架構圖顯示具有私有網頁伺服器的 Amazon MWAA 環境。

此影像顯示具有私有 Web 伺服器之 Amazon MWAA 環境的架構。

私有網路存取模式可將 Apache Airflow UI 的存取權限限制為 Amazon VPC 中已授予您環境 IAM 政策存取權的使用者。

當您創建具有私有 Web 服務器訪問權限的環境時,必須將所有依賴項打包到 Python wheel 存檔(.whl)中,然後.whlrequirements.txt. 有關使用 wheel 打包和安裝依賴項的說明,請參閱使用 Python wheel 管理依賴關係

下圖顯示 Amazon MWAA 主控台上哪裡可以找到私人網路選項。

此影像顯示 Amazon MWAA 主控台上哪裡可以找到私人網路選項。

存取模式概觀

本節說明當您選擇公用網路私人網路存取模式時,在 Amazon VPC 中建立的 VPC 端點 (AWS PrivateLink)。

公共網路存取模式

如果您為 Apache Airflow 頁伺服器選擇公用網路存取模式,網路流量會透過網際網路公開路由。

  • Amazon MWAA 為您的 Amazon Aurora PostgreSQL 中繼資料資料庫建立 VPC 界面端點。端點是在對應至私人子網路的可用區域中建立,且獨立於其他 AWS 帳戶。

  • 然後,Amazon MWAA 會將 IP 位址從您的私有子網路繫結到介面端點。這是為了支援從 Amazon VPC 的每個可用區域繫結單一 IP 的最佳實務而設計。

私人網路存取模式

如果您為 Apache Airflow 頁伺服器選擇私人網路存取模式,網路流量會在您的 Amazon VPC 中以私密方式路由。

  • Amazon MWAA 為您的 Apache 氣流網頁伺服器建立 VPC 界面端點,並為您的 Amazon Aurora PostgreSQL 中繼資料資料庫建立一個介面端點。端點是在對應至私人子網路的可用區域中建立,且獨立於其他 AWS 帳戶。

  • 然後,Amazon MWAA 會將 IP 位址從您的私有子網路繫結到介面端點。這是為了支援從 Amazon VPC 的每個可用區域繫結單一 IP 的最佳實務而設計。

如需進一步了解,請參閱Amazon VPC 和 Apache 氣流存取模式的範例使用案例

私人和公共訪問模式的設置

下節根據您為環境選擇的 Apache Airflow 存取模式,說明您需要的其他設定和組態。

設定公用網路

如果您選擇 Apache 氣流頁伺服器的公用網路選項,您可以在建立環境之後開始使用 Apache 氣流使用者介面。

您需要採取下列步驟來設定使用者的存取權限,以及環境使用其他 AWS 服務的權限。

  1. 新增權限。Amazon MWAA 需要許可才能使用其他 AWS 服務。當您建立環境時,Amazon MWAA 會建立一個服務連結角色,允許該角色對亞馬遜彈性容器登錄 (Amazon ECR)、 CloudWatch 日誌和 Amazon EC2 使用特定 IAM 動作。

    您可以新增對這些服務使用其他動作或使用其他 AWS 服務的權限,方法是將權限新增至您的執行角色。如需進一步了解,請參閱Amazon MWAA 執行角色

  2. 建立使用者策略。您可能需要為使用者建立多個 IAM 政策,以設定對環境和 Apache Airflow 使用者介面的存取權限。如需進一步了解,請參閱存取 Amazon MWAA 環境

設定私人網路

如果您為 Apache Airflow Web 伺服器選擇私人網路選項,則需要為使用者設定存取權限、允許您的環境使用其他 AWS 服務,以及建立機制以從電腦存取 Amazon VPC 中的資源。

  1. 新增權限。Amazon MWAA 需要許可才能使用其他 AWS 服務。當您建立環境時,Amazon MWAA 會建立一個服務連結角色,允許該角色對亞馬遜彈性容器登錄 (Amazon ECR)、 CloudWatch 日誌和 Amazon EC2 使用特定 IAM 動作。

    您可以新增對這些服務使用其他動作或使用其他 AWS 服務的權限,方法是將權限新增至您的執行角色。如需進一步了解,請參閱Amazon MWAA 執行角色

  2. 建立使用者策略。您可能需要為使用者建立多個 IAM 政策,以設定對環境和 Apache Airflow 使用者介面的存取權限。如需進一步了解,請參閱存取 Amazon MWAA 環境

  3. 啟用網路存取。您需要在 Amazon VPC 中建立一個機制,以連接到 Apache 氣流網頁伺服器的 VPC 擬私人雲端端點 (AWS PrivateLink)。例如,透過使用 AWS Client VPN.

存取 Apache 氣流網頁伺服器的 VPC 私人雲端端點 (私人網路存取)

如果您選擇了私人網路選項,則需要在 Amazon VPC 中建立一個機制,以存取 Apache 氣流網頁伺服器的 VPC 擬私人雲端端點 (AWS PrivateLink)。對於這些資源,我們建議您使用與 Amazon MWAA 環境相同的 Amazon VPC、VPC 安全群組和私有子網路。

若要深入了解,請參閱管理 VPC 端點的存取權