AWS Glue에서 워크플로 실행 및 모니터링 - AWS Glue

AWS Glue에서 워크플로 실행 및 모니터링

워크플로우의 시작 트리거가 온디맨드 트리거인 경우, AWS Glue 콘솔에서 워크플로우를 시작할 수 있습니다. 워크플로를 실행하고 모니터링하려면 다음 단계를 수행합니다. 워크플로가 실패하면 실행 그래프를 보고 실패한 노드를 확인할 수 있습니다. 블루프린트에서 워크플로가 생성된 경우 문제를 해결하기 위해 블루프린트 실행을 보고 워크플로를 생성하는 데 사용된 블루프린트 파라미터 값을 볼 수 있습니다. 자세한 내용은 AWS Glue에서 블루프린트 실행 보기 단원을 참조하십시오.

AWS Glue 콘솔, API 또는 AWS Command Line Interface(AWS CLI)를 사용하여 워크플로를 실행하고 모니터링할 수 있습니다.

워크플로를 실행하고 모니터링하려면(콘솔)

  1. https://console.aws.amazon.com/glue/에서 AWS Glue 콘솔을 엽니다.

  2. 탐색 창의 ETL 아래에서 Workflows(워크플로우)를 선택합니다.

  3. 워크플로우를 선택합니다. Actions(작업) 메뉴에서 Run(실행)을 선택합니다.

  4. 워크플로 목록에서 [마지막 실행 상태(Last run status)] 열을 확인합니다. 새로 고침 버튼을 선택하여 진행 중인 워크플로 상태를 봅니다.

  5. 워크플로가 실행 중이거나 완료된 후(또는 실패한 후) 다음 단계를 완료하여 실행 세부 정보를 확인합니다.

    1. 워크플로가 선택되어 있는지 확인하고 [기록(History)] 탭을 선택합니다.

    2. 현재 또는 가장 최근 워크플로 실행을 선택한 다음 [실행 세부 정보 보기(View run details)]를 선택합니다.

      워크플로 런타임 그래프는 현재 실행 상태를 보여줍니다.

    3. 그래프에서 노드를 선택하여 노드의 세부 정보와 상태를 봅니다.

      실행 그래프는 작업을 시작하는 시작 트리거를 보여줍니다. 다른 트리거는 작업 완료를 감시합니다. 작업 노드(클립보드 아이콘과 작업 이름을 포함하는 사각형)가 선택되고 작업 세부 정보가 오른쪽 창에 표시됩니다. 작업 세부 정보에는 작업 실행 ID 및 상태가 포함됩니다.
워크플로를 실행하고 모니터링하려면(AWS CLI)

  1. 다음 명령을 입력합니다. <workflow-name>을 실행할 워크플로우로 바꿉니다.

    aws glue start-workflow-run --name <workflow-name>

    워크플로우가 성공적으로 시작되면 명령은 실행 ID를 반환합니다.

  2. get-workflow-run 명령을 사용하여 워크플로 실행 상태를 봅니다. 워크플로 이름과 실행 ID를 제공합니다.

    aws glue get-workflow-run --name myWorkflow --run-id wr_d2af14217e8eae775ba7b1fc6fc7a42c795aed3cbcd8763f9415452e2dbc8705

    다음은 샘플 명령 출력입니다.

    {
    "Run": {
        "Name": "myWorkflow",
        "WorkflowRunId": "wr_d2af14217e8eae775ba7b1fc6fc7a42c795aed3cbcd8763f9415452e2dbc8705",
        "WorkflowRunProperties": {
            "run_state": "COMPLETED",
            "unique_id": "fee63f30-c512-4742-a9b1-7c8183bdaae2"
        },
        "StartedOn": 1578556843.049,
        "CompletedOn": 1578558649.928,
        "Status": "COMPLETED",
        "Statistics": {
            "TotalActions": 11,
            "TimeoutActions": 0,
            "FailedActions": 0,
            "StoppedActions": 0,
            "SucceededActions": 9,
            "RunningActions": 0,
            "ErroredActions": 0
        }
    }
}
다음 사항도 참조하세요.