AWS Glue で設計図からワークフローを作成する
AWS Glue ワークフローはコンポーネントを 1 つずつ手動で作成したり、AWS Glue ブループリントからワークフローを作成することもできます。AWS Glue には一般的なユースケースのブループリントが含まれます。AWS Glue デベロッパーが、追加の設計図を作成することも可能です。
重要
ワークフロー内のジョブ、クローラ、トリガーの総数を 100 以下に制限します。100 を超える値を含めると、ワークフローの実行を再開または停止しようとしたときにエラーが発生することがあります。
設計図を使用すると、設計図で定義されている一般化されたユースケースをベースにしながら、特定のユースケース向けのワークフローをすばやく生成できます。設計図パラメータの値を指定することで、特定のユースケースを定義します。例えば、データセットをパーティション化する設計図では、パラメータとして Amazon S3 のソースとターゲットのパスを使用します。
AWS Glue は、ブループリントを実行することで、そのブループリントからワークフローを作成します。設計図の実行では、指定したパラメータ値が保存されます。このパラメータは、ワークフローとそのコンポーネントの作成に関する進行状況と結果を追跡するためにも使用されます。ワークフローをトラブルシューティングする場合は、設計図の実行を表示して、ワークフローの作成に使用された設計図のパラメータ値を確認します。
ワークフローを作成および表示するには、特定の IAM アクセス許可が必要です。提案されている IAM ポリシーについては、「設計図のためのデータアナリストの権限」を参照してください。
ブループリントからワークフローを作成するには、AWS Glue コンソール、AWS Glue API、または AWS Command Line Interface (AWS CLI) を使用します。
設計図からワークフローを作成するには (コンソール)
-
https://console.aws.amazon.com/glue/
で AWS Glue コンソール を開きます。 ワークフローを作成するための、アクセス許可が付与されたユーザーとしてサインインします。
-
ナビゲーションペインで [Blueprints] (ブループリント) を選択します。
-
設計図を選択し、[Actions] (アクション) メニューで、[Create workflow] (ワークフローの作成) をクリックします。
-
[Create a workflow from <blueprint-name>] (<blueprint-name> からのワークフローの作成) ページで、以下の情報を入力します。
- 設計図パラメータ
-
これらのパラーメータは、設計図の構成によって異なります。パラメータについては、デベロッパーにお問い合わせください。設計図には、通常、ワークフロー名がパラメータとして含まれています。
- IAM ロール
-
ワークフローとそのコンポーネントを作成するために、AWS Glue が引き受けるロールです。ロールには、ワークフロー、ジョブ、クローラ、トリガーを作成および削除するための、アクセス許可が付与されている必要があります。提案されているロールのポリシーについては、「設計図のロール用のアクセス許可」を参照してください。
-
[送信] を選択します。
[Blueprint Details] (設計図の詳細) ページが表示され、その下部に設計図の実行が一覧表示されます。
-
設計図の実行の一覧で、最上位にある設計図の実行から、ワークフローの作成ステータスを確認します。
初期ステータスは、
RUNNING
です。ステータスがSUCCEEDED
またはFAILED
に遷移するまで、[Refresh] (更新) ボタンをクリックします。 -
次のいずれかを行います。
-
完了ステータスが
SUCCEEDED
であれば、[Workflows] (ワークフロー) ページを開き、新しく作成したワークフローを選択して実行できます。ワークフローを実行する前に、設計グラフを確認することができます。 -
完了ステータスが
FAILED
の場合には、設計図実行を選択した上で [Actions] (アクション) メニューで [View] (表示) をクリックし、エラーメッセージを表示します。
-
Express ワークフローと サービス統合の詳細については、以下を参照してください。