本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
在 Amazon MWAA 上使用阿帕奇氣流配置選項
Apache 氣流組態選項可以連接至您的 Amazon 管理工作流程,以作為環境變數的 Apache 氣流環境。您可以從建議的下拉式清單中選擇,或在 Amazon MWAA 主控台為 Apache 氣流版本指定自訂組態選項。本頁說明可用的 Apache 氣流組態選項,以及如何使用這些選項覆寫環境中的 Apache 氣流組態設定。
內容
必要條件
您需要下列項目,才能完成此頁面上的步驟。
-
權限 — 您的 AWS 帳戶必須已被管理員授與您環境的 AmazonmWAA 存取控制原則的FullConsole存取權限。此外,您的執行角色必須允許 Amazon MWAA 環境,才能存取環境使用的 AWS 資源。
-
存取 — 如果您需要存取公用儲存庫,才能直接在 Web 伺服器上安裝相依性,則您的環境必須設定公用網路 Web 伺服器存取權。如需詳細資訊,請參閱 Apache Airflow 存取模式。
-
Amazon S3 組態 — 用於存放 DAG、自訂外掛程式和 Python 相依性的 Amazon S3 儲存貯體
requirements.txt
必須設定為封鎖公用存取並啟用版本控制。plugins.zip
運作方式
建立環境時,Amazon MWAA 會將您在氣流組態選項中 Amazon MWAA 主控台上指定的組態設定做為環境變數附加到您環境的 AWS Fargate 容器。如果您在中使用相同名稱的設定airflow.cfg
,您在 Amazon MWAA 主控台上指定的選項會覆寫中的值。airflow.cfg
雖然我們預設不會airflow.cfg
在 Amazon MWAA 環境的 Apache 氣流使用者介面中公開,但是您可以直接在 Amazon MWAA 主控台上變更 Apache 氣流組態選項,包括公開組態的設webserver.expose_config
定。
使用配置選項在 Apache 氣流 V2 中加載插件
默認情況下,在 Apache 氣流 v2 中,插件被配置為使用該core.lazy_load_plugins : True
設置「懶惰」加載。如果您在 Apache Airflow v2 中使用自訂外掛程式,則必須新增core.lazy_load_plugins : False
為 Apache 氣流組態選項,才能在每個氣流程開始時載入外掛程式,以覆寫預設設定。
組態選項概觀
當您在 Amazon MWAA 主控台上新增組態時,Amazon MWAA 會將組態寫入為環境變數。
-
列出的選項。您可以從下拉式清單中選擇適用於 Apache Airflow 版本的其中一個組態設定。例如
dag_concurrency
:16
。配置設置轉換為您環境的 Fargate 容器AIRFLOW__CORE__DAG_CONCURRENCY : 16
-
自定義選項。您也可以在下拉式清單中指定未列出 Apache 氣流版本的氣流組態選項。例如
foo.user
:YOUR_USER_NAME
。配置設置轉換為您環境的 Fargate 容器AIRFLOW__FOO__USER : YOUR_USER_NAME
阿帕奇氣流配置選項
下圖顯示您可以在 Amazon MWAA 主控台上自訂 Apache 氣流組態選項的位置。
阿帕奇氣流參考
如需 Apache 氣流支援的組態選項清單,請參閱 Apache 氣流參考指南中的組態
使用 Amazon MWAA 主控台
下列程序會逐步引導您將 Airflow 組態選項新增至您的環境。
-
在 Amazon MWAA 主控台上開啟「環境」頁面
。 -
選擇一個環境。
-
選擇編輯。
-
選擇下一步。
-
在氣流組態選項窗格中選擇新增自訂組態。
-
從下拉式清單中選擇組態並輸入值,或輸入自訂組態並輸入值。
-
為您要新增的每個組態選擇新增自訂組態。
-
選擇儲存。
組態參考
下一節包含 Amazon MWAA 主控台上下拉式清單中可用的 Apache 氣流組態清單。
電郵配置
下列清單顯示 Amazon MWAA 上可用的氣流電子郵件通知組態選項。
建議您針對 SMTP 流量使用連接埠 587。依預設,會在所有 Amazon EC2 執行個體的連接埠 25 上 AWS 封鎖輸出 SMTP 流量。如果您想要在通訊埠 25 上傳送輸出流量,您可以要求移除此限制
任務配置
下列清單顯示 Amazon MWAA 氣流任務下拉式清單中可用的組態。
排程器組態
下列清單顯示 Amazon MWAA 下拉式清單中可用的 Apache 氣流排程器組態。
工作者組態
下列清單顯示 Amazon MWAA 下拉式清單中可用的氣流工作者組態。
網頁伺服器組態
下列清單顯示 Amazon MWAA 下拉式清單中可用的氣流網路伺服器組態。
耐用配置
下列清單顯示 Amazon MWAA 上可用的 Apache 氣流觸發器
範例和範例程式碼
範例 DAG
您可以使用下面的 DAG 打印您的 email_backend
Apache 氣流配置選項。若要執行以回應 Amazon MWAA 事件,請將程式碼複製到 Amazon S3 儲存貯體上環境的 DAG 資料夾。
from airflow.decorators import dag from datetime import datetime def print_var(**kwargs): email_backend = kwargs['conf'].get(section='email', key='email_backend') print("email_backend") return email_backend @dag( dag_id="print_env_variable_example", schedule_interval=None, start_date=datetime(
yyyy
,m
,d
), catchup=False, ) def print_variable_dag(): email_backend_test = PythonOperator( task_id="email_backend_test", python_callable=print_var, provide_context=True ) print_variable_test = print_variable_dag()
電子郵件通知設定範
下列 Apache 氣流設定選項可用於使用應用程式密碼的 Gmail.com 電子郵件帳戶。如需詳細資訊,請參閱 Gmail 說明參考指南中的使用應用程式密碼
後續步驟?
-
了解如何將您的 DAG 資料夾上傳到您的 Amazon S3 儲存貯體新增或更新 DAG。