Amazon MWAA 環境を作成する - Amazon Managed Workflows for Apache Airflow

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon MWAA 環境を作成する

Amazon Managed Workflows for Apache Airflow は、Apache から利用可能なのと同じオープンソースの Apache Airflow とユーザーインターフェイスを使用して、選択したバージョンの環境で Apache Airflow をセットアップします。このガイドでは、Amazon MWAA 環境を作成する手順について説明します。

開始する前に

  • 環境用に指定した VPC ネットワークは、環境の作成後に変更することはできません。

  • [すべてのパブリックアクセスをブロック] し、[バケットバージョニング] 管理を有効にするには、Amazon S3 バケットを設定する必要があります。

  • Amazon MWAA を使用するためのアクセス許可と、IAM ロールを作成するための AWS Identity and Access Management (IAM) のアクセス許可を持つ AWS アカウントが必要です。Amazon VPC 内の Apache Airflow アクセスを制限する Apache Airflow ウェブサーバープライベートネットワークアクセスモードを選択した場合、Amazon VPC エンドポイントを作成するには IAM のアクセス許可が必要です。

Apache Airflow のバージョン

以下の Apache Airflow バージョンは、Amazon Managed Workflows for Apache Airflow でサポートされています。

注記
  • Apache Airflow v2.2.2 以降、Amazon MWAA は Python 要件、プロバイダーパッケージ、カスタムプラグインを Apache Airflow ウェブサーバーに直接インストールすることをサポートしています。

  • Apache Airflow v2.7.2 から、要件ファイルには --constraint ステートメントを含める必要があります。制約を指定しない場合、要件に記載されているパッケージが使用している Apache Airflow のバージョンと互換性があることを確認するため、Amazon MWAA はお客様に代わって制約を指定します。

    要件ファイルに制約を設定する方法の詳細については、「Python 依存関係のインストール」を参照してください。

自己管理型の Apache Airflow デプロイの移行、または既存の Amazon MWAA 環境の移行について、メタデータデータベースのバックアップ手順を含む詳細情報は、「Amazon MWAA 移行ガイド」 を参照してください。

環境の作成

以下のセクションでは、Amazon MWAA 環境の作成手順について説明します。

ステップ1:詳細の指定

環境の詳細を指定します
  1. Amazon MWAA コンソール」を開きます。

  2. AWS リージョンセレクタを使用して、リージョンを選択します。

  3. [Create environment (環境の作成)] を選択します。

  4. [詳細を指定] ページの [環境の詳細] で:

    1. [Name] に、環境の一意の名前を入力します。

    2. [エアフローバージョン] で Apache エアフローバージョンを選択します。

      注記

      値が指定されない場合、デフォルトは最新の Airflow バージョンとなります。利用可能な最新バージョンは Apache Airflow v2.8.1 です。

  5. [Amazon S3 の DAG コード] で以下を指定します。

    1. S3 バケット」。[Browse S3]を選択して Amazon S3 バケットを選択するか、Amazon S3 URIを入力します。

    2. DAG フォルダー」。[Browse S3] を選択し、Amazon S3 バケット内の dags フォルダを選択するか、Amazon S3 URI を入力します。

    3. [プラグインファイル - オプション]。「Browse S3」を選択し、Amazon S3 バケット上の plugins.zip ファイルを選択するか、Amazon S3 の URI を入力します。

    4. [要件ファイル - オプション]。「Browse S3」を選択し、Amazon S3 バケット上の requirements.txt ファイルを選択するか、Amazon S3 の URI を入力します。

    5. [スタートアップ スクリプトファイル - オプション][Browse S3] を選択し、Amazon S3 バケット上のスクリプトファイルを選択するか、Amazon S3 URI を入力します。

  6. [次へ] をクリックします。

ステップ2:詳細設定の設定

詳細設定を設定するには
  1. [詳細設定の設定] ページの [ネットワーク] で:

    1. 「Amazon VPC」 を選択してください。

      このステップでは、Amazon VPC の 2 つのサブネットを設定します。

  2. [Web サーバーアクセス]で、お好みの 「Apache Airflow アクセスモード」 を選択します。

    1. [プライベートネットワーク]。これは、Apache Airflow UI へのアクセスを、「あなたの環境の IAM ポリシー」にアクセスを許可されたあなたの Amazon VPC 内のユーザーに制限します このステップには Amazon VPC エンドポイントを作成する権限が必要です。

      注記

      Apache Airflow UI にアクセスできるのは企業ネットワークのみで、ウェブサーバ要件をインストールするためにパブリックリポジトリにアクセスする必要がない場合は、[プライベートネットワーク] オプションを選択します。このアクセスモードオプションを選択する場合は、Amazon VPC 内の Apache Airflow ウェブサーバーにアクセスするメカニズムを作成する必要があります。詳細については、「Apache Airflow ウェブサーバーの VPC エンドポイントへのアクセス (プライベートネットワークアクセス)」を参照してください。

    2. [パブリックネットワーク]。これにより、「環境の IAM ポリシー」 へのアクセスを許可されたユーザーは、インターネット経由で Apache Airflow UI にアクセスできます。

  3. [セキュリティグループ] で、「Amazon VPC」 を保護するために使用するセキュリティグループを選択します。

    1. デフォルトでは、Amazon MWAA は Amazon VPC にセキュリティグループを作成し、[新しいセキュリティグループの作成] で特定のインバウンドルールとアウトバウンドルールを設定します。

    2. オプション[新しいセキュリティグループの作成] のチェックボックスをオフにして、最大 5 つのセキュリティグループを選択します。

      注記

      既存の Amazon VPC セキュリティグループでは、ネットワークトラフィックを許可する特定のインバウンドルールとアウトバウンドルールを設定する必要があります。詳細については、「Amazon MWAA の VPC のセキュリティ」を参照してください。

  4. [環境クラス] で、「環境クラス」 を選択します。

    ワークロードをサポートするために必要な最小サイズを選択することをお勧めします。環境クラスは、随時変更できます。

  5. [最大ワーカー数] は、環境内で実行する Apache Airflow ワーカーの最大数を指定します。

    詳細については、「高パフォーマンスのユースケースの例」を参照してください。

  6. 最大ウェブサーバー数最小ウェブサーバー数を指定して、Amazon MWAA が環境内の Apache Airflow ウェブサーバーをスケーリングする方法を設定します。

    ウェブサーバーのオートスケーリングの詳細については、「」を参照してくださいAmazon MWAA ウェブサーバーの自動スケーリングの設定

  7. [暗号化] で、データ暗号化オプションを選択します。

    1. デフォルトでは、Amazon MWAA は AWS 所有キーを使用してデータを暗号化します。

    2. オプション暗号化設定のカスタマイズ (アドバンスト) を選択して、別の AWS KMS キーを選択します。このステップでカスタマーマネージドキーを指定する場合は、 AWS KMS キー ID または ARN を指定する必要があります。 AWS KMS エイリアスとマルチリージョンキーは Amazon MWAA ではサポートされていません。Amazon S3 バケットでサーバー側の暗号化用に Amazon S3 キーを指定した場合、Amazon MWAA 環境にも同じキーを指定する必要があります。 

      注記

      Amazon MWAA コンソールでキーを選択するには、そのキーに対するアクセス権限が必要です。また、「キーポリシーの添付」 で説明されているポリシーを追加して Amazon MWAA にキーを使用する権限を付与する必要があります。

  8. 推奨 モニタリング でAirflow ログ記録設定のログカテゴリを 1 つ以上選択して、Apache Airflow ログを CloudWatch Logs に送信します。

    1. [Airflow タスクログ]。ログレベルの CloudWatch ログに送信する Apache Airflow タスクログのタイプを選択します。

    2. [Airflow ウェブサーバーのログ]。ログレベルの CloudWatch ログに送信する Apache Airflow ウェブサーバーログのタイプを選択します。

    3. [Airflow スケジューラーログ]。ログレベルの CloudWatch ログに送信する Apache Airflow スケジューラログのタイプを選択します。

    4. [Airflow ワーカーログ]。ログレベルの CloudWatch ログに送信する Apache Airflow ワーカーログのタイプを選択します。

    5. [Airflow DAG 処理ログ]。ログレベルの CloudWatch ログに送信する Apache Airflow DAG 処理ログのタイプを選択します。

  9. オプション[エアフロー設定オプション]で、[カスタム設定オプションの追加]を選択します。

    Apache Airflow バージョンの「Apache Airflow 構成オプション」の推奨ドロップダウンリストから選択するか、カスタム設定オプションを指定できます。例えば、core.default_task_retries : 3 です。

  10. オプション[タグ][新しいタグ] の追加を選択し、タグを環境に関連付けます。例えば、Environment : Staging です。

  11. [許可] で、実行ロールを選択する:

    1. デフォルトでは、Amazon MWAA は [新しいロールの作成] 「実行ロール」 を作成します。このオプションを使用するには、IAM ロールを作成する権限が必要です。

    2. オプション[ロール ARN を入力] を選択して、既存の実行ロールの Amazon リソースネーム (ARN) を入力します。

  12. [次へ] をクリックします。

ステップ 3: レビューと作成

環境の概要の表示
  • 環境の概要を確認し、[環境作成] を選択します。

    注記

    環境の作成には約 20 ~ 30 分かかります。