Criar uma programação de crawler - AWS Glue

Criar uma programação de crawler

É possível criar uma programação para o crawler usando o console do AWS Glue ou a AWS CLI.

AWS Management Console

  1. Faça login no AWS Management Console e abra o console do AWS Glue em https://console.aws.amazon.com/glue/.

  2. Escolha Crawlers no painel de navegação.

  3. Siga as etapas 1 a 3 na seção Configurar um crawler.

  4. Em Etapa 4: configurar a saída e o agendamento, escolha uma Programação de crawler para definir a frequência da execução. Você tem a opção de executar o crawler de hora em hora, diariamente, semanalmente, mensalmente ou pode definir uma programação personalizada usando expressões cron.

    Uma expressão cron é uma string que representa um padrão de agendamento, consistindo em seis campos separados por espaços: * * * * * <minute> <hour> <day of month> <month> <day of week> <year>

    Por exemplo, para executar uma tarefa todos os dias à meia-noite, a expressão cron é: 0 0 * * ? *

    Para obter mais informações, consulte Expressões cron.

  5. Revise as configurações do crawler que você configurou e crie o crawler para ser executado de acordo com uma programação.

AWS CLI
aws glue create-crawler 
 --name myCrawler \
 --role AWSGlueServiceRole-myCrawler  \
 --targets '{"S3Targets":[{Path="s3://amzn-s3-demo-bucket/"}]}' \
 --schedule cron(15 12 * * ? *)

Para obter mais informações sobre como usar o cron para programar trabalhos e crawlers, consulte Programações baseadas em hora para trabalhos e crawlers.