Amazon MWAA環境を作成する - Amazon Managed Workflows for Apache Airflow

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon MWAA環境を作成する

Amazon Managed Workflows for Apache Airflow は、Apache が提供するのと同じオープンソースの Apache Airflow とユーザーインターフェイスを使用して、選択したバージョンの環境に Apache Airflow を設定します。このガイドでは、Amazon MWAA環境を作成する手順について説明します。

[開始する前に]

  • 環境の作成後に、環境用に指定したVPCネットワークを変更することはできません。

  • [すべてのパブリックアクセスをブロック] し、[バケットバージョニング] 管理を有効にするには、Amazon S3 バケットを設定する必要があります。

  • Amazon を使用するためのアクセス許可とMWAA、IAMロールを作成するための AWS Identity and Access Management (IAM) のアクセス許可を持つ AWS アカウントが必要です。Amazon 内の Apache Airflow アクセスを制限する Apache Airflow ウェブサーバーのプライベートネットワークアクセスモードを選択した場合VPCは、 で Amazon VPCエンドポイントを作成IAMするためのアクセス許可が必要です。

Apache Airflow のバージョン

以下の Apache Airflow バージョンは、Amazon Managed Workflows for Apache Airflow でサポートされています。

注記
  • Apache Airflow v2.2.2 以降、Amazon MWAAは Python 要件、プロバイダーパッケージ、カスタムプラグインを Apache Airflow ウェブサーバーに直接インストールできるようになりました。

  • Apache Airflow v2.7.2 から、要件ファイルには --constraint ステートメントを含める必要があります。制約を指定しない場合、Amazon MWAAは要件にリストされているパッケージが、使用している Apache Airflow のバージョンと互換性があることを確認するために制約を指定します。

    要件ファイルに制約を設定する方法の詳細については、「Python 依存関係のインストール」を参照してください。

メタデータデータベースのバックアップ手順など、セルフマネージド Apache Airflow デプロイの移行や既存の Amazon MWAA環境の移行の詳細については、「Amazon MWAA移行ガイド」を参照してください。

環境を作成する

次のセクションでは、Amazon MWAA環境を作成する手順について説明します。

ステップ1:詳細の指定

環境の詳細を指定します
  1. Amazon MWAA コンソールを開きます。

  2. AWS リージョンセレクタを使用して、リージョンを選択します。

  3. [環境を作成] を選択します。

  4. [詳細を指定] ページの [環境の詳細] で:

    1. [Name] に、環境の一意の名前を入力します。

    2. [エアフローバージョン] で Apache エアフローバージョンを選択します。

      注記

      値が指定されない場合、デフォルトは最新の Apache Airflow バージョンとなります。利用可能な最新バージョンは Apache Airflow v2.10.3 です。

  5. DAG Amazon S3 のコードで、以下を指定します。

    1. S3 バケットS3 の参照」を選択して Amazon S3 バケットを選択するか、Amazon S3 」を入力しますURI。

    2. DAGs フォルダS3 の参照」を選択し、Amazon S3 バケット内のdagsフォルダを選択するか、Amazon S3 」を入力しますURI。

    3. [プラグインファイル - オプション]S3 の参照」を選択し、Amazon S3 バケットの plugins.zip ファイルを選択するか、Amazon S3 」を入力しますURI。

    4. [要件ファイル - オプション]S3 を参照する」を選択し、Amazon S3 バケットのrequirements.txtファイルを選択するか、Amazon S3 」を入力しますURI。

    5. 起動スクリプトファイル - オプション参照を選択 S3 Amazon S3 バケットのスクリプトファイルを選択するか、Amazon S3 を入力しますURI。

  6. [Next (次へ)] を選択します。

ステップ2:詳細設定の設定

詳細設定を設定するには
  1. [詳細設定の設定] ページの [ネットワーク] で:

    1. Amazon VPCを選択します。

      このステップでは、Amazon の 2 つのプライベートサブネットを入力しますVPC。

  2. [Web サーバーアクセス]で、お好みの Apache Airflow アクセスモード を選択します。

    1. [プライベートネットワーク]。これにより、Apache Airflow UI へのアクセスは、環境のポリシーへのアクセスが許可されている Amazon 内のVPCユーザーに制限されます。 IAM このステップでは、Amazon VPCエンドポイントを作成するためのアクセス許可が必要です。

      注記

      Apache Airflow UI にアクセスできるのは企業ネットワークのみで、ウェブサーバ要件をインストールするためにパブリックリポジトリにアクセスする必要がない場合は、[プライベートネットワーク] オプションを選択します。このアクセスモードオプションを選択した場合は、Amazon の Apache Airflow ウェブサーバーにアクセスするメカニズムを作成する必要がありますVPC。詳細については、「Apache Airflow ウェブサーバーの VPC エンドポイントへのアクセス (プライベートネットワークアクセス)」を参照してください。

    2. [パブリックネットワーク]。これにより、ユーザーの環境のポリシーへのアクセス権が付与されたユーザーが、インターネット経由で Apache Airflow UI にアクセスできるようになります。 IAM

  3. セキュリティグループ (複数可) で、Amazon VPCのセキュリティ保護に使用されるセキュリティグループを選択します。

    1. デフォルトでは、Amazon は Amazon に特定のインバウンドルールとアウトバウンドルールVPCを持つセキュリティグループを新しいセキュリティグループの作成でMWAA作成します。

    2. オプション[新しいセキュリティグループの作成] のチェックボックスをオフにして、最大 5 つのセキュリティグループを選択します。

      注記

      ネットワークトラフィックを許可するには、既存の Amazon VPC セキュリティグループを特定のインバウンドルールとアウトバウンドルールで設定する必要があります。詳細については、「Amazon VPC での MWAA のセキュリティ」を参照してください。

  4. [環境クラス] で、環境クラス を選択します。

    ワークロードをサポートするために必要な最小サイズを選択することをお勧めします。環境クラスは、随時変更できます。

  5. [最大ワーカー数] は、環境内で実行する Apache Airflow ワーカーの最大数を指定します。

    詳細については、「高パフォーマンスのユースケースの例」を参照してください。

  6. 最大ウェブサーバー数最小ウェブサーバー数を指定して、Amazon が環境内の Apache Airflow ウェブサーバーをMWAAスケーリングする方法を設定します。

    ウェブサーバーの自動スケーリングの詳細については、「Amazon MWAAウェブサーバーの自動スケーリングの設定」を参照してください。

  7. [暗号化] で、データ暗号化オプションを選択します。

    1. デフォルトでは、Amazon MWAAは AWS 所有キーを使用してデータを暗号化します。

    2. オプション暗号化設定をカスタマイズ (アドバンスト) を選択して、別の AWS KMS キーを選択します。このステップでカスタマーマネージドキーを指定する場合は、 AWS KMS キー ID または を指定する必要がありますARN。 AWS KMS エイリアスとマルチリージョンキーは Amazon ではサポートされていませんMWAA。Amazon S3 バケットでサーバー側の暗号化に Amazon S3 キーを指定した場合は、Amazon MWAA環境に同じキーを指定する必要があります。

      注記

      Amazon MWAAコンソールでキーを選択するには、キーに対するアクセス許可が必要です。また、「」で説明されているポリシーをアタッチしてMWAA、Amazon がキーを使用するためのアクセス許可を付与する必要がありますキーポリシーの添付

  8. 推奨 モニタリングで、Airflow ログ記録設定のログカテゴリを 1 つ以上選択して、Apache Airflow ログを CloudWatch Logs に送信します。

    1. [Airflow タスクログ]。ログレベルの CloudWatch ログに送信する Apache Airflow タスクログのタイプを選択します。

    2. [Airflow ウェブサーバーのログ]。Logs in CloudWatch Logs レベルに送信する Apache Airflow ウェブサーバーログのタイプを選択します。

    3. [Airflow スケジューラーログ]。ログレベルの CloudWatch ログに送信する Apache Airflow スケジューラログのタイプを選択します。

    4. [Airflow ワーカーログ]。Logs in CloudWatch Logs レベルに送信する Apache Airflow ワーカーログのタイプを選択します。

    5. Airflow DAG処理ログ。ログレベルの CloudWatch ログに送信する Apache Airflow DAG処理ログのタイプを選択します。

  9. オプション[エアフロー設定オプション]で、[カスタム設定オプションの追加]を選択します。

    Apache Airflow バージョンの Apache Airflow 構成オプションの推奨ドロップダウンリストから選択するか、カスタム設定オプションを指定できます。例えば、core.default_task_retries : 3 です。

  10. オプション[タグ][新しいタグ] の追加を選択し、タグを環境に関連付けます。例えば、Environment : Staging です。

  11. [許可] で、実行ロールを選択する:

    1. デフォルトでは、Amazon は新しいロールの作成で実行ロールMWAAを作成します。 このオプションを使用するには、IAMロールを作成するアクセス許可が必要です。

    2. オプションEnter role を選択してARN、既存の実行ロールの Amazon リソースネーム (ARN) を入力します。

  12. [Next (次へ)] を選択します。

ステップ 3: レビューと作成

環境の概要の表示
  • 環境の概要を確認し、[環境作成] を選択します。

    注記

    環境の作成には約 20 ~ 30 分かかります。