파티션 인덱스 생성 - AWS Glue

파티션 인덱스 생성

데이터 카탈로그는 특정 파티션을 효율적으로 조회할 수 있도록 파티션 인덱스 생성을 지원합니다. 자세한 내용은 파티션 인덱스 생성을 참조하세요. AWS Glue 크롤러는 기본적으로 Amazon S3 및 Delta Lake 대상에 대한 파티션 인덱스를 생성합니다.

AWS Management Console
  1. AWS Management Console에 로그인하여 https://console.aws.amazon.com/glue/에서 AWS Glue 콘솔을 엽니다.

  2. 데이터 카탈로그에서 크롤러를 선택합니다.

  3. 크롤러를 정의하면 자동으로 파티션 인덱스 생성 옵션이 출력 및 예약 설정 페이지의 고급 옵션 아래에서 기본적으로 활성화됩니다.

    이 옵션을 비활성화하려면 콘솔에서 파티션 인덱스 자동 생성 확인란의 선택을 취소하면 됩니다.

  4. 크롤러 구성을 완료하고 크롤러 생성을 선택합니다.

AWS CLI

AWS CLI를 사용하여 configuration 파라미터에서 CreatePartitionIndex 를 설정하여 이 옵션을 비활성화할 수도 있습니다. 기본값은 true입니다.

aws glue update-crawler \ --name myCrawler \ --configuration '{"Version": 1.0, "CreatePartitionIndex": false }'

파티션 인덱스에 대한 사용 참고 사항

  • 크롤러에서 생성한 테이블에는 기본적으로 partition_filtering.enabled 변수가 없습니다. 자세한 내용은 AWS Glue 파티션 인덱싱 및 필터링을 참조하세요.

  • 암호화된 파티션에 대한 파티션 인덱스 생성은 지원되지 않습니다.