Amazon Managed Workflows for Apache Airflow とは何ですか？ - Amazon Managed Workflows for Apache Airflow
機能アーキテクチャIntegrationサポートバージョン次のステップ

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Managed Workflows for Apache Airflow とは何ですか？

Apache Airflow のマネージドオーケストレーションサービスである Amazon Managed Workflows for Apache Airflow を使用して、クラウドでデータパイプラインを大規模にセットアップして運用します。Apache Airflow は、ワークフローと呼ばれる一連のプロセスとタスクをプログラムで作成、スケジュール、監視するために使用されるオープンソースのツールです。

Amazon MWAA を使用すると、スケーラビリティ、可用性、セキュリティの基盤となるインフラストラクチャを管理することなく、Apache Airflow と Python を使用してワークフローを作成できます。Amazon MWAA は、ワークフロー実行容量を自動的にスケーリングしてニーズに合わせてニーズを満たし、 AWS セキュリティサービスと統合して、データへの高速で安全なアクセスを提供します。

機能

Amazon MWAA が Apache Airflow ワークフローの管理を簡素化する方法については、以下の機能を参照してください。

  • 自動エアフロー設定 — Amazon MWAA 環境を作成するときに Apache Airflow バージョンを選択して、Apache Airflow をすばやくセットアップします。Amazon MWAA は、インターネットでダウンロードできるのと同じ Apache Airflow ユーザーインターフェイスとオープンソースコードを使用して Apache Airflow をセットアップします。

  • 自動スケーリング — 環境内で稼働するワーカーの最小数と最大数を設定して、Apache Airflow ワーカーを自動的にスケーリングします。Amazon MWAA は、環境内のワーカーを監視し、自動スケーリングコンポーネントを使用して、定義したワーカーの最大数に達するまで、需要を満たすワーカーを追加します。

  • 組み込み認証 — AWS Identity and Access Management （IAM) でアクセスコントロールポリシーを定義することで、Apache Airflow ウェブサーバーのロールベースの認証と認可を有効にします。Apache Airflow ワーカーは、 AWS サービスへの安全なアクセスのためにこれらのポリシーを引き受けます。

  • 組み込みセキュリティ — Apache Airflow ワーカーとスケジューラは Amazon MWAA の Amazon VPC で実行されます。データは を使用して自動的に暗号化されるため AWS Key Management Service、環境はデフォルトで安全です。

  • パブリックアクセスモードまたはプライベートアクセスモード — プライベートまたはパブリックアクセスモードを使用して Apache Airflow ウェブサーバーにアクセスします。パブリックネットワークアクセスモードでは、インターネット経由でアクセス可能な Apache Airflow ウェブサーバー用の VPC エンドポイントを使用します。プライベートネットワークアクセスモードでは、VPC でアクセスできる Apache Airflow ウェブサーバー用の Word エンドポイントを使用します。 VPCいずれの場合も、Apache Airflow ユーザーのアクセスは、 AWS Identity and Access Management （IAM）、および AWS SSO で定義したアクセスコントロールポリシーによって制御されます。

  • アップグレードとパッチの合理化 – Amazon MWAA では、Apache Airflow の新しいバージョンが定期的に提供されます。Amazon MWAA チームは、これらのバージョンのイメージを更新してパッチを適用します。

  • ワークフローモニタリング – Amazon CloudWatch で Apache Airflow ログと Apache Airflow メトリクスを表示して、追加のサードパーティーツールを必要とせずに Apache Airflow タスクの遅延やワークフローエラーを特定します。Amazon MWAA は環境メトリクスを自動的に送信し、有効になっている場合は Apache Airflow ログを CloudWatch に送信します。

  • AWS 統合 — Amazon MWAA は、Amazon Athena、 AWS Batch、Amazon CloudWatch、Amazon DynamoDB、 AWS DataSync、Amazon EMR、Amazon EKS AWS Fargate、Amazon Data Firehose AWS Glue、 AWS Lambda、Amazon Redshift、Amazon SQS、Amazon Word、SNSAmazon SageMaker、Amazon S3 とのオープンソース統合、および数百の組み込みおよびコミュニティで作成されたオペレータとセンサーをサポートしています。

  • ワーカーフリート — Amazon MWAA は、コンテナを使用してワーカーフリートをオンデマンドでスケーリングし、Amazon ECS を使用してスケジューラの停止を減らすためのサポートを提供します AWS Fargate。Amazon ECS コンテナでタスクを呼び出すオペレータ、および Kubernetes クラスターでポッドを作成して実行する Kubernetes オペレータがサポートされています。

アーキテクチャ

外箱 (下の図) に含まれるすべてのコンポーネントは、アカウント内の単一の Amazon MWAA 環境として表示されます。Apache Airflow スケジューラとワーカーは、環境の Amazon VPC のプライベートサブネットに接続する AWS Fargate コンテナです。各環境には、 によって管理 AWS される独自の Apache Airflow メタデータベースがあり、プライベートに保護された VPC エンドポイントを介してスケジューラと Workers Fargate コンテナにアクセスできます。

Amazon CloudWatch、Amazon S3、Amazon SQS、および AWS KMS は Amazon MWAA とは別個であり、Fargate コンテナ内の Apache Airflow スケジューラ (複数可） およびワーカーからアクセス可能である必要があります。

Apache Airflow ウェブサーバーには、パブリックネットワーク Apache Airflow アクセスモードを選択することでインターネット経由で、またはプライベートネットワーク Apache Airflow アクセスモードを選択することで VPC 内でアクセスできます。いずれの場合も、Apache Airflow ユーザーのアクセスは、 AWS Identity and Access Management （IAM) で定義したアクセスコントロールポリシーによって制御されます。

注記

複数の Apache Airflow スケジューラーは Apache Airflow v2 以上でのみ使用できます。Apache Airflow タスクライフサイクルの詳細については、Apache Airflow リファレンスガイドの 「概念」 を参照してください。

この図は、Amazon MWAA 環境のアーキテクチャを示しています。

Integration

アクティブで成長を続ける Apache Airflow オープンソースコミュニティは、Apache Airflow が サービスと統合するためのオペレーター ( AWS サービスへの接続を簡素化するプラグイン) を提供します。これには、Amazon S3、Amazon Redshift、Amazon EMR AWS Batch、Amazon SageMaker などのサービス、および他のクラウドプラットフォーム上のサービスが含まれます。

Amazon MWAA で Apache Airflow を使用すると、Apache Hadoop、Presto、Hive、Spark などの AWS サービスや一般的なサードパーティーツールとの統合が完全にサポートされ、データ処理タスクを実行できます。Amazon MWAA は Apache Airflow API との互換性を維持することにコミットしており、Amazon MWAA は AWS サービスへの信頼性の高い統合を提供し、コミュニティで利用可能にし、コミュニティの機能開発に関与することを意図しています。

サンプルコードについては、「Amazon Managed Workflows for Apache Airflow」を参照してください。

サポートバージョン

Amazon MWAA は、複数のバージョンの Apache Airflow をサポートしています。サポートされている Apache Airflow のバージョンと、各バージョンに含まれている Apache Airflow コンポーネントの詳細については、Amazon Managed Workflows for Apache Airflow 上の Apache Airflow のバージョン を参照してください。

次のステップ