requirements.txt での Python 依存関係の管理

このページでは、Amazon Managed Workflows for Apache Airflow 環境の requirements.txt ファイルに Python の依存関係をインストールして管理するために推奨するベストプラクティスについて説明します。

Amazon MWAACLIユーティリティDAGsを使用したテスト

PyPi.org 要件ファイル形式を使用した Python 依存関係のインストール

次のセクションでは、 PyPi.org 要件ファイル形式 に従って Python 依存関係をインストールするさまざまな方法について説明します。

オプション 1: Python Package インデックスからの Python 依存関係

次のセクションでは、requirements.txt ファイルの Python Package インデックスから Python 依存関係を指定する方法について説明します。

オプション 2: Python wheel (.whl)

Python wheel は、コンパイルされたアーティファクトをライブラリに同梱するために設計されたパッケージ形式です。Amazon に依存関係をインストールする方法として、ホイールパッケージにはいくつかの利点がありますMWAA。

requirements.txt の Python wheel アーカイブ (.whl) から Python 依存関係をインストールするには、次の方法をお勧めします。

Amazon S3 バケット上の plugins.zip ファイルを使用する

Apache Airflow スケジューラ、ワーカー、ウェブサーバー (Apache Airflow v2.2.2 以降用) は、 の環境の AWSマネージド Fargate コンテナで起動時にカスタムプラグインを探します/usr/local/airflow/plugins/*。このプロセスは、Amazon MWAAの for Python pip3 install -r requirements.txt の依存関係と Apache Airflow サービスの起動の前に開始されます。plugins.zip ファイルは、環境の実行中に継続的に変更したくないファイルや、 を書き込むユーザーにアクセス権を付与したくないファイルに使用されますDAGs。例えば、Python ライブラリのホイールファイル、証明書PEMファイル、設定YAMLファイルなどです。

次のセクションでは、plugins.zip ファイルにあるホイールを Amazon S3 バケットにインストールする方法について説明します。

でホストされているWHLファイルの使用 URL

次のセクションでは、 でホストされているホイールをインストールする方法について説明しますURL。は、パブリックにアクセス可能であるか、Amazon MWAA環境にVPC指定したカスタム Amazon 内からアクセス可能であるURL必要があります。

からのWHLファイルの作成 DAG

Apache Airflow v2.2.2 以降を使用するプライベートウェブサーバーがあり、環境が外部リポジトリにアクセスできないために要件をインストールできない場合は、以下を使用して既存の Amazon MWAA要件DAGを取得し、Amazon S3 にパッケージ化できます。

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago

S3_BUCKET = 'my-s3-bucket'
S3_KEY = 'backup/plugins_whl.zip' 

with DAG(dag_id="create_whl_file", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
    cli_command = BashOperator(
        task_id="bash_command",
        bash_command=f"mkdir /tmp/whls;pip3 download -r /usr/local/airflow/requirements/requirements.txt -d /tmp/whls;zip -j /tmp/plugins.zip /tmp/whls/*;aws s3 cp /tmp/plugins.zip s3://{S3_BUCKET}/{S3_KEY}"
    )

を実行したらDAG、この新しいファイルを Amazon MWAA として使用します。plugins.zipオプションで、他のプラグインにパッケージ化されています。次に、 を追加--no-indexせずにrequirements.txt、 の前に --find-links /usr/local/airflow/pluginsと を更新します--constraint。

この方法では、同じライブラリをオフラインで使用できます。

オプション 3: プライベート PyPi/PEP-503 準拠リポジトリでホストされる Python 依存関係

次のセクションでは、認証URLを使用してプライベートでホストされる Apache Airflow エクストラをインストールする方法について説明します。

Amazon MWAAコンソールでのログの有効化

Amazon MWAA環境の実行ロールには、ログを CloudWatch Logs に送信するためのアクセス許可が必要です。実行ロールのアクセス権限を更新するには、「Amazon MWAA 実行ロール」を参照してください。

Apache Airflow ログは INFO、WARNING、ERROR または CRITICAL レベルで有効にできます。ログレベルを選択すると、Amazon はそのレベルと重要度の高いレベルのログMWAAを送信します。例えば、 INFOレベルでログを有効にすると、Amazon MWAAはINFOログと WARNING、ERROR、および CRITICALログレベルを CloudWatch Logs に送信します。requirements.txt で受信したログをスケジューラーに表示できるように、INFO レベルで Apache Airflow ログを有効にすることをお勧めします。

Logs コンソールでの CloudWatch ログの表示

ワークフローのスケジュール設定と dags フォルダーの解析を行うスケジューラーの Apache Airflow ログを表示できます。次の手順では、Amazon MWAAコンソールでスケジューラのロググループを開き、Logs コンソールで Apache Airflow CloudWatch ログを表示する方法について説明します。

Apache Airflow UI でエラーを表示する

また、Apache Airflow UI をチェックして、エラーが別の問題に関連しているかどうかを確認することもできます。Amazon で Apache Airflow で発生する可能性のある最も一般的なエラーMWAAは次のとおりです。

Broken DAG: No module named x

Apache Airflow UI にこのエラーが表示される場合は、requirements.txt のファイルに必要な依存関係が欠けている可能性があります。

Apache Airflow へのログイン

Apache Airflow UI を表示するには、 AWS Identity and Access Management （IAM) の AWS アカウントのApache Airflow UI アクセスポリシー: AmazonMWAAWebServerAccessアクセス許可が必要です。

requirements.txt シナリオ例

requirements.txt では異なるフォーマットを組み合わせることができます。次の例では、さまざまな方法を組み合わせてエクストラをインストールしています。

aws-batch == 0.6
phoenix-letter >= 0.3
    
--index-url http://dist.repoze.org/zope2/2.10/simple
    zopelib