AWS Glue でのワークフローの実行とモニタリング - AWS Glue

AWS Glue でのワークフローの実行とモニタリング

ワークフローの開始トリガーがオンデマンドトリガーである場合は、AWS Glue コンソールからワークフローを開始できます。ワークフローの実行とモニタリングを行うには、以下の手順を完了します。ワークフローが失敗した場合は、実行グラフを表示し、どのノードで失敗したのかを判断します。ワークフローが設計図から作成された場合は、その設計図の実行を表示して、ワークフローの作成に使用された設計図パラメータ値を確認することで、トラブルシューティングの助けになります。(詳細については、AWS Glue でブループリントの実行を表示する を参照してください)。

ワークフローを実行およびモニタリングするには、AWS Glue コンソール、API、あるいは AWS Command Line Interface (AWS CLI) を使用します

ワークフローを実行およびモニタリングするには (コンソール)
  1. https://console.aws.amazon.com/glue/ で AWS Glue コンソール を開きます。

  2. ナビゲーションペインの [ETL] で、[ワークフロー] を選択します。

  3. ワークフローを選択します。[アクション] メニューの [実行] を選択します。

  4. ワークフローのリストで、[Last run status] (最終実行ステータス) 列を確認します。進行中のワークフローのステータスを表示するには、[Refresh] (更新) ボタンをクリックします。

  5. ワークフローの実行中、もしくはワークフローが完了 (または失敗) した後、以下の手順を実行して実行の詳細を表示します。

    1. ワークフローが選択されていることを確認し、[History] (履歴) タブを選択します。

    2. 現在の、または最も新しいワークフロー実行を選択し、[View run details] (実行の詳細を表示する) をクリックします。

      ワークフローの実行グラフが、現在の実行ステータスを表示します。

    3. グラフ内の任意のノードを選択して、ノードの詳細とステータスを表示します。

      実行グラフに、ジョブを開始する開始トリガーが表示されます。他のトリガーは、ジョブの完了を監視しています。ジョブノード (クリップボードアイコンとジョブ名を囲む長方形) が選択され、右側のペインにジョブの詳細が表示されます。ジョブの詳細には、ジョブの実行 ID とステータスが含まれています。
ワークフローを実行およびモニタリングするには (AWS CLI)
  1. 次のコマンドを入力します。<workflow-name> は、実行するワークフローに置き換えます。

    aws glue start-workflow-run --name <workflow-name>

    ワークフローが正常に開始されると、コマンドから実行 ID が返されます。

  2. get-workflow-run コマンドを実行して、ワークフロー実行の状態を表示します。ワークフロー名と実行 ID を指定します。

    aws glue get-workflow-run --name myWorkflow --run-id wr_d2af14217e8eae775ba7b1fc6fc7a42c795aed3cbcd8763f9415452e2dbc8705

    以下に、このコマンドの出力例を示します。

    {
        "Run": {
            "Name": "myWorkflow",
            "WorkflowRunId": "wr_d2af14217e8eae775ba7b1fc6fc7a42c795aed3cbcd8763f9415452e2dbc8705",
            "WorkflowRunProperties": {
                "run_state": "COMPLETED",
                "unique_id": "fee63f30-c512-4742-a9b1-7c8183bdaae2"
            },
            "StartedOn": 1578556843.049,
            "CompletedOn": 1578558649.928,
            "Status": "COMPLETED",
            "Statistics": {
                "TotalActions": 11,
                "TimeoutActions": 0,
                "FailedActions": 0,
                "StoppedActions": 0,
                "SucceededActions": 9,
                "RunningActions": 0,
                "ErroredActions": 0
            }
        }
    }