크롤러가 기존 스키마를 변경하지 못하도록 방지 - AWS Glue

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

크롤러가 기존 스키마를 변경하지 못하도록 방지

크롤러가 Amazon S3 테이블 정의의 기존 필드를 중복 업데이트하지 않도록 하려면 콘솔의 옵션을 선택하여 [새 열만 추가(Add new columns only)] 혹은 구성 옵션 MergeNewColumns를 설정합니다. Partitions.AddOrUpdateBehavior가 InheritFromTable에 중복되지 않는 한 이는 테이블과 파티션에 적용됩니다.

크롤러가 실행될 때 테이블 스키마가 전혀 변하지 않도록 하려면 LOG에 스키마 변경 정책을 설정합니다. 테이블에서 물려받은 파티션 스키마를 설정할 수 있는 구성 옵션도 설정할 수 있습니다.

콘솔에서 크롤러를 구성하는 중이면 다음 작업을 선택할 수 있습니다.

  • 변경 사항을 무시하고 Data Catalog에서 테이블을 업데이트하지 않음

  • [Update all new and existing partitions with metadata from the table(테이블에서 메타데이터가 있는 새 파티션과 기존 파티션을 모두 업데이트합니다)]

를 사용하여 크롤러를 구성하는 API 경우 다음 매개변수를 설정하십시오.

  • SchemaChangePolicy 구조의 UpdateBehavior 필드를 LOG로 설정합니다.

  • API크롤러에 있는 다음 JSON 객체를 문자열로 표현하여 Configuration 필드를 설정합니다. 예를 들면 다음과 같습니다.

    {
   "Version": 1.0,
   "CrawlerOutput": {
      "Partitions": { "AddOrUpdateBehavior": "InheritFromTable" }
   }
}