AWS Glue で設計図とワークフローを使用して複雑な ETL アクティビティを実行する
組織が実行する複雑な抽出、変換、ロード (ETL) プロセスの中には、依存関係のある複数の AWS Glue ジョブとクローラによる実装が最適なものがあります。AWS Glue ワークフローを使用すると、マルチジョブ、マルチクローラの ETL プロセスを設計でき、このプロセスは単一のエンティティとして実行と追跡が可能です。ワークフローを作成し、その中でジョブ、クローラ、トリガーを指定した後に、オンデマンドまたはスケジュールにより、そのワークフローを実行できるようになります。
トピック
- AWS Glue のワークフローの概要
- AWS Glue でワークフローを手動により作成および構築する
- Amazon EventBridge イベントによる AWS Glue ワークフローの開始
- ワークフローを開始した EventBridge イベントの表示
- AWS Glue でのワークフローの実行とモニタリング
- ワークフロー実行の停止
- ワークフロー実行の修復と再開
- AWS Glue でのワークフローの実行プロパティの取得と設定
- AWS Glue APIを使用したワークフローのクエリ
- AWS Glue での設計図とワークフローの制限
- AWS Glue での設計図エラーをトラブルシューティングする
- AWS Glue ブループリントでのペルソナおよびロール用のアクセス許可