Gatilhos do AWS Glue - AWS Glue

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Gatilhos do AWS Glue

Quando acionado, um gatilho pode iniciar trabalhos e crawlers especificados. Um gatilho é acionado sob demanda, com base em uma programação ou em uma combinação de eventos.

nota

Apenas dois crawlers podem ser ativados por um único acionador. Se você quiser realizar crawling em vários armazenamentos de dados, use várias fontes para cada crawler, em vez de executar vários crawlers simultaneamente.

Um gatilho pode existir em um de vários estados. Um gatilho é CREATED, ACTIVATED ou DEACTIVATED. Existem também estados transitórios, como ACTIVATING. Para impedir temporariamente que um gatilho seja acionado, é possível desabilitá-lo. Você pode reabilitá-lo posteriormente.

Existem três tipos de gatilhos:

Programado

Um gatilho de tempo baseado em cron.

Você pode criar um gatilho para um conjunto de trabalhos ou crawlers com base em uma programação. Você pode especificar restrições, como a frequência de execução ou em quais dias da semana e a que horas os trabalhos ou crawlers são executados. Essas restrições são feitas com base no cron. Ao configurar a programação de um gatilho, considere os recursos e as limitações do cron. Por exemplo, se você optar por executar seu crawler no dia 31 de cada mês, lembre-se de que alguns meses não têm 31 dias. Para obter mais informações sobre o cron, consulte Programações baseadas em hora para trabalhos e crawlers.

Condicional

Um gatilho que é acionado quando um ou vários trabalhos ou crawlers satisfazem uma lista de condições.

Ao criar um gatilho condicional, você especifica uma lista de trabalhos e uma lista de crawlers a serem monitorados. Para cada trabalho ou crawler monitorado, você especifica um status a monitorar, como succeeded (bem-sucedido), failed (com falha), timed out (com tempo limite excedido) e assim por diante. O gatilho será acionado se os trabalhos ou crawlers monitorados forem finalizados com os status especificados. Você pode configurar o gatilho de modo a ser acionado quando um ou todos os eventos monitorados ocorrerem.

Por exemplo, você pode configurar um gatilho T1 para iniciar o trabalho J3 quando o trabalho J1 e J2 forem concluídos com êxito, e outro gatilho T2 para iniciar o trabalho J4 se houver falha no trabalho J1 ou no J2.

A tabela a seguir lista os estados de conclusão do trabalho e do crawler (eventos) que acionam a gatilho.

Estados de conclusão do trabalho Estados de conclusão do crawler

  • SUCCEEDED

  • STOPPED

  • FAILED

  • TIMEOUT

  • SUCCEEDED

  • FAILED

  • CANCELLED
Sob demanda

Um gatilho que é acionado quando é ativado. Os gatilhos sob demanda nunca entram no estado ACTIVATED ou DEACTIVATED. Eles sempre permanecem no estado CREATED.

Para que eles estejam prontos para serem acionados assim que existirem, você pode definir um sinalizador para ativar gatilhos programados e condicionais ao criá-los.

Importante

Os trabalhos ou crawlers executados como resultado da conclusão de outros trabalhos ou crawlers são chamados de dependentes. Os trabalhos ou crawlers dependentes só serão iniciados se o trabalho ou o crawler concluído tiver sido iniciado por um gatilho. Todos os trabalhos ou crawlers em uma cadeia de dependência devem ser descendentes de um único gatilho scheduled (programado) ou on-demand (sob demanda).

Transmitir parâmetros de trabalho com acionadores

Um gatilho pode transmitir parâmetros para os trabalhos que inicia. Os parâmetros incluem argumentos de trabalho, valor de tempo limite, configuração de segurança e muito mais. Se o gatilho iniciar vários trabalhos, os parâmetros serão transmitidos para cada trabalho.

Veja a seguir as regras para argumentos de trabalho transmitidos por um gatilho:

  • Se a chave no par de chave/valor corresponder a um argumento de trabalho padrão, o argumento transmitido substituirá o argumento padrão. Se a chave não corresponder a um argumento padrão, o argumento será transmitido como um argumento adicional para o trabalho.

  • Se a chave no par de chave/valor corresponder a um argumento não substituível, o argumento transmitido será ignorado.

Para obter mais informações, consulte Acionadores na API do AWS Glue.