Executar e monitorar um fluxo de trabalho no AWS Glue - AWS Glue

Executar e monitorar um fluxo de trabalho no AWS Glue

Se o gatilho de início de um fluxo de trabalho for um gatilho sob demanda, será possível iniciar o fluxo de trabalho no console do AWS Glue. Conclua as etapas a seguir para executar e monitorar um fluxo de trabalho. Se o fluxo de trabalho falhar, é possível visualizar o gráfico de execução para determinar o nó que falhou. Para ajudar a solucionar problemas, se o fluxo de trabalho tiver sido criado de um blueprint, você poderá exibir a execução do blueprint para ver os valores dos parâmetros do blueprint usados para criar o fluxo de trabalho. Para ter mais informações, consulte Visualizar execuções de esquemas no AWS Glue.

Você executar e monitorar um fluxo de trabalho usando o console do AWS Glue, API ou o AWS Command Line Interface (AWS CLI).

Para executar e monitorar um fluxo de trabalho (console)

  1. Abra o console do AWS Glue em https://console.aws.amazon.com/glue/.

  2. No painel de navegação, em ETL, selecione Workflows (Fluxos de trabalho).

  3. Selecione um fluxo de trabalho. No menu Actions (Ações), selecione Run (Executar).

  4. Confira a coluna Last run status (Status da última execução) na lista de fluxos de trabalho. Escolha o botão de atualização para exibir o status do fluxo de trabalho em andamento.

  5. Enquanto o fluxo de trabalho estiver em execução, ou após a conclusão (ou falha), visualize os detalhes da execução concluindo as etapas a seguir.

    1. Certifique-se de que o fluxo de trabalho esteja selecionado e escolha a guia History (Histórico).

    2. Escolha a execução do fluxo de trabalho atual ou mais recente e escolha View run details (Visualizar detalhes da execução).

      O gráfico de runtime do fluxo de trabalho mostra o status de execução atual.

    3. Escolha qualquer nó no gráfico para exibir os detalhes e status dele.

      O gráfico de execução mostra um acionador inicial, que inicia um trabalho. Outro acionador observa a conclusão do trabalho. O nó do trabalho (um retângulo que inclui um ícone da área de transferência e um nome de trabalho) é selecionado e os detalhes do trabalho são mostrados em um painel à direita. Os detalhes incluem ID e status da execução do trabalho.
Para executar e monitorar um fluxo de trabalho (AWS CLI)

  1. Insira o comando da a seguir. Substitua <workflow-name> pelo fluxo de trabalho a ser executado.

    aws glue start-workflow-run --name <workflow-name>

    Se o fluxo de trabalho for iniciado com êxito, o comando retornará o ID de execução.

  2. Visualize o status de execução do fluxo de trabalho usando o comando get-workflow-run. Forneça o nome do fluxo de trabalho e o ID de execução.

    aws glue get-workflow-run --name myWorkflow --run-id wr_d2af14217e8eae775ba7b1fc6fc7a42c795aed3cbcd8763f9415452e2dbc8705

    Este é um exemplo de saída de comando.

    {
    "Run": {
        "Name": "myWorkflow",
        "WorkflowRunId": "wr_d2af14217e8eae775ba7b1fc6fc7a42c795aed3cbcd8763f9415452e2dbc8705",
        "WorkflowRunProperties": {
            "run_state": "COMPLETED",
            "unique_id": "fee63f30-c512-4742-a9b1-7c8183bdaae2"
        },
        "StartedOn": 1578556843.049,
        "CompletedOn": 1578558649.928,
        "Status": "COMPLETED",
        "Statistics": {
            "TotalActions": 11,
            "TimeoutActions": 0,
            "FailedActions": 0,
            "StoppedActions": 0,
            "SucceededActions": 9,
            "RunningActions": 0,
            "ErroredActions": 0
        }
    }
}
Consulte também: