Amazon MWAA での DAG の取り扱い - Amazon Managed Workflows for Apache Airflow
Amazon S3 バケットの概要

Amazon MWAA での DAG の取り扱い

Amazon Managed Workflows for Apache Airflow 環境でダイレクト非循環グラフ (DAG) を実行するには、環境に接続されている Amazon S3 ストレージバケットにファイルをコピーし、Amazon MWAA コンソール上の DAG とサポートファイルの場所を Amazon MWAA に知らせます。Amazon MWAA は、ワーカー、スケジューラー、ウェブサーバー間で DAG を同期します。このガイドでは、Amazon MWAA 環境に DAG を追加または更新する方法、およびカスタムプラグインと Python 依存関係をインストールする方法について説明します。

トピック

Amazon S3 バケットの概要

Amazon MWAA 環境の Amazon S3 バケットには、パブリックアクセスがブロックされている必要があります。デフォルトでは、Amazon S3 のリソースバケット、オブジェクト、関連サブリソース (例: 設定や 設定) などのすべてのリソースはプライベートです。

  • リソース所有者 (バケットを作成した AWS アカウント) のみが、リソースにアクセスできます。リソースの所有者 (管理者など) は、アクセス制御ポリシーを作成することにより、他のユーザーにアクセス許可を付与することもできます。

  • 設定するアクセスポリシーには、Amazon S3 バケットに DAG、requirements.txt のカスタムプラグイン、および plugins.zip のPython 依存関係を追加する権限が必要です。必要なアクセス権限を含むポリシーの例については、「AmazonMWAAFullConsoleAccess」を参照してください。

Amazon MWAA 環境の Amazon S3 バケットでは、バージョニング管理が有効になっている必要があります。Amazon S3 バケットのバージョニング管理が有効になっている場合、新しいバージョンが作成されるたびに、新しいコピーが作成されます。

  • バージョニングは、Amazon S3 バケットの plugins.zip のカスタムプラグインと requirements.txt の Python 依存関係に対して有効になっています。

  • Amazon S3 バケットでこれらのファイルが更新されるたびに、Amazon MWAA コンソールで、plugins.zip と requirements.txt のバージョンを指定する必要があります。