크롤러 일정 생성 - AWS Glue

크롤러 일정 생성

AWS Glue 콘솔 또는 AWS CLI를 사용하여 크롤러의 일정을 생성할 수 있습니다.

AWS Management Console

  1. AWS Management Console에 로그인하여 https://console.aws.amazon.com/glue/에서 AWS Glue 콘솔을 엽니다.

  2. 탐색 창에서 크롤러를 선택합니다.

  3. 아래 크롤러 구성 섹션의 1~3 단계를 따릅니다.

  4. 4단계: 출력 및 일정 설정에서 크롤러 예약을 선택하여 실행 빈도를 설정합니다. 크롤러를 시간별, 일별, 주별, 월별로 실행하도록 선택하거나 cron 표현식을 사용하여 사용자 지정 일정을 정의할 수 있습니다.

    cron 표현식은 일정 패턴을 나타내는 문자열로, * * * <minute><hour><day of month><month><day of week><year>처럼 공백으로 구분된 6개 필드로 구성됩니다.

    예를 들어 매일 자정에 작업을 실행하는 경우 cron 표현식은 0 0 * *? *입니다.

    자세한 내용은 cron 표현식 섹션을 참조하세요.

  5. 구성한 크롤러 설정을 검토하고 일정에 따라 실행되는 크롤러를 생성합니다.

AWS CLI
aws glue create-crawler 
 --name myCrawler \
 --role AWSGlueServiceRole-myCrawler  \
 --targets '{"S3Targets":[{Path="s3://amzn-s3-demo-bucket/"}]}' \
 --schedule cron(15 12 * * ? *)

작업 및 크롤러의 일정을 관리하기 위해 cron을 사용하는 방법에 대한 자세한 내용은 작업 및 크롤러를 위한 시간 기반 일정 섹션을 참조하세요.