Programar um crawler - AWS Glue

Programar um crawler

Você pode executar um crawler do AWS Glue sob demanda ou por meio de uma programação regular. Ao configurar um crawler com base em uma programação, é possível especificar certas restrições (por exemplo: a frequência de execução do crawler, em quais dias da semana ele será executado e a que horas). É possível criar esses agendamentos personalizados no formato cron. Para obter mais informações, consulte cron na Wikipédia.

Ao configurar a programação de um crawler, você precisa considerar os recursos e as limitações do cron. Por exemplo, se você optar por executar seu crawler no dia 31 de cada mês, lembre-se de que alguns meses não têm 31 dias.