2단계: 데이터 소스 및 분류자 선택

데이터가 이미 매핑되어 있는지에 대한 적절한 옵션을 선택합니다.AWS Glue 테이블? '아직 없음' 또는 '예'를 선택합니다. 기본적으로 '아직'이 선택됩니다.

크롤러는 크롤의 원본으로 데이터 스토어에 직접 액세스하거나 데이터 카탈로그의 기존 테이블을 원본으로 사용할 수 있습니다. 크롤러가 기존 카탈로그 테이블을 사용하면 해당 카탈로그 테이블에 지정된 데이터 스토어가 크롤됩니다.

Delta 테이블을 사용하려면 먼저 Athena DDL 또는 를 사용하여 Delta 테이블을 생성합니다 AWS Glue API.

Athena를 사용하여 위치를 Amazon S3 폴더로 설정하고 테이블 유형을 'DELTA'로 설정합니다.

CREATE EXTERNAL TABLE database_name.table_name
LOCATION 's3://bucket/folder/'
TBLPROPERTIES ('table_type' = 'DELTA')

를 사용하여 테이블 파라미터 맵 내에서 테이블 유형을 AWS Glue API지정합니다. 테이블 매개변수에는 다음과 같은 키/값 쌍이 포함되어야 합니다. 테이블을 생성하는 방법에 대한 자세한 내용은 create_table에 대한 Boto3 설명서를 참조하세요.

{
    "table_type":"delta"
}

크롤러가 스캔할 데이터 소스 목록을 선택하거나 추가합니다.

(선택 사항) 데이터 소스JDBC로 를 선택하는 경우 JDBC 드라이버 정보가 저장되는 연결 액세스를 지정할 때 자체 드라이버를 사용할 수 있습니다.

크롤러에 무엇을 포함하거나 제외할 것인지 평가할 때 크롤러는 필요한 포함 경로를 평가하는 것으로 시작합니다. Amazon S3, MongoDB, MongoDB Atlas, Amazon DocumentDB(MongoDB 호환) 및 관계형 데이터 스토어의 경우 포함 경로를 지정해야 합니다.

JDBC 데이터 스토어의 경우 구문은 database-name/schema-name/table-name 또는 입니다database-name/table-name. 구문은 데이터베이스 엔진이 데이터베이스 내에서 스키마를 지원할지 여부에 따라 다릅니다. 예를 들어 MySQL 또는 Oracle과 같은 데이터베이스 엔진의 경우 포함 경로schema-name에 를 지정하지 마세요. 퍼센트 표시(%)를 추가 경로 내 스키마 또는 테이블로 바꿔 데이터베이스 내 모든 스키마 혹은 모든 테이블을 나타냅니다. 퍼센트 표시(%)를 추가 경로 내 데이터베이스로 바꿀 수 없습니다.

크롤러가 Amazon S3 경로에서 Iceberg 또는 Hudi 메타데이터 폴더를 검색하기 위해 이동할 수 있는 Amazon S3 경로의 최대 깊이를 정의합니다. 이 파라미터의 목적은 크롤러 실행 시간을 제한하는 것입니다. 기본값은 10이고, 최댓값은 20입니다.

이렇게 하면 크롤에서 특정 파일이나 테이블을 제외할 수 있습니다. 제외 경로는 포함 경로와 상대적입니다. 예를 들어 JDBC 데이터 스토어에서 테이블을 제외하려면 제외 경로에 테이블 이름을 입력합니다.

크롤러는 를 사용하여 JDBC 데이터 스토어에 연결합니다.AWS Glue 연결 문자열이 포함된 JDBC URI 연결입니다. 크롤러는 의 JDBC 사용자 이름과 암호를 사용하여 데이터베이스 엔진의 객체에만 액세스할 수 있습니다.AWS Glue 연결. 크롤러는 JDBC 연결을 통해 액세스할 수 있는 테이블만 생성할 수 있습니다. 크롤러가 JDBC 를 사용하여 데이터베이스 엔진에 액세스하면 URI포함 경로가 Data Catalog에 데이터베이스 엔진의 어떤 테이블이 생성되는지 결정하는 데 사용됩니다. 예를 들어 내 에서 의 포함 경로를 지정SQL하면 내의 MyDatabase/%모든 테이블MyDatabase이 데이터 카탈로그에 생성됩니다. Amazon Redshift에 액세스할 경우, MyDatabase/%의 추가 경로를 지정하면 데이터베이스 MyDatabase의 모든 스키마 내 모든 테이블은 데이터 카탈로그에 생성됩니다. MyDatabase/MySchema/%의 추가 경로를 지정하면 MyDatabase 데이터베이스의 모든 테이블과 MySchema 스키마가 생성됩니다.

추가 경로를 지정한 후, 크롤러에서 객체를 제외합니다. 그렇지 않으면 추가 경로는 하나 이상의 Unix 스타일 glob이 패턴을 제외하는 것을 지정하여 객체를 추가합니다. 이런 패턴은 추가 경로에 적용되어 어떤 객체가 제외되어야 하는지 결정합니다. 또한 이런 패턴은 크롤러가 생성한 테이블의 속성으로 저장됩니다.AWS Glue PySpark 와 같은 확장은 테이블 속성을 create_dynamic_frame.from_catalog읽고 제외 패턴으로 정의된 객체를 제외합니다.

AWS Glue 는 제외 glob 패턴에서 다음 패턴을 지원합니다.

AWS Glue 는 다음과 같이 glob 제외 패턴을 해석합니다.

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table

소스 유형마다 다른 추가 파라미터 집합이 필요합니다.

선택 또는 추가 AWS Glue 연결. 연결에 관한 자세한 내용은 데이터에 연결 단원을 참조하십시오.

크롤러가 크롤링할 추가 메타데이터 속성을 선택합니다.

데이터 소스에 연결할 크롤러의 사용자 지정 JDBC 드라이버 클래스 이름을 입력합니다.

.jar 파일에 대한 기존 Amazon S3 경로를 선택합니다. 여기에서 크롤러가 데이터 소스에 연결하기 위해 사용자 지정 JDBC 드라이버를 사용할 때 .jar 파일이 저장됩니다.

데이터 샘플만 크롤링할지 여부를 선택합니다. 선택하지 않으면 전체 테이블이 크롤링됩니다. 테이블이 높은 처리량 테이블이 아닌 경우 모든 레코드를 스캔하는 데 시간이 오래 걸릴 수 있습니다.

Delta Lake 테이블 생성 방법을 선택합니다.

크롤러에서 사용할 DynamoDB 테이블 읽기 용량 단위의 비율을 지정합니다. 읽기 용량 단위는 DynamoDB에서 정의한 용어이며, 초당 해당 테이블에서 수행할 수 있는 읽기 수에 대한 속도 제한기 역할을 하는 숫자 값입니다. 0.1과 1.5 사이의 값을 입력합니다. 값을 지정하지 않으면 기본값은 프로비저닝된 테이블의 경우 0.5이고 온디맨드 테이블의 경우 구성된 최대 용량의 1/4입니다. 프로비저닝된 용량 모드만 AWS Glue 크롤러와 함께 사용해야 합니다.

필요에 따라 이 Amazon S3 대상과 함께 사용할 네트워크 연결을 포함합니다. 각 크롤러는 하나의 네트워크 연결로 제한되므로 다른 Amazon S3 대상도 동일한 연결을 사용하게 됩니다(비워 두면 연결 없음).

연결에 관한 자세한 내용은 데이터에 연결 단원을 참조하십시오.

데이터 집합의 샘플 파일을 크롤링할 때 크롤링할 각 리프 폴더의 파일 수를 지정합니다. 이 기능이 설정되어 있으면 이 데이터 집합의 모든 파일을 크롤링하는 대신 크롤러가 크롤링할 각 리프 폴더의 일부 파일을 무작위로 선택합니다.

샘플링 크롤러는 데이터 포맷에 대한 사전 지식이 있고 폴더의 스키마가 변경되지 않는다는 것을 알고 있는 고객에게 가장 적합합니다. 이 기능을 설정하면 크롤러 런타임이 크게 감소합니다.

유효한 값은 1~249의 정수입니다. 지정하지 않으면 모든 파일이 크롤링됩니다.

이 필드는 모든 Amazon S3 데이터 소스에 영향을 주는 글로벌 필드입니다.

크롤러를 정의하기 전에 사용자 지정 분류자를 정의합니다. 분류자는 지정된 파일이 크롤러가 처리할 수 있는 형식인지 여부를 확인합니다. 처리할 수 있는 형식인 경우, 분류자는 해당 데이터 형식과 일치하는 StructType 객체의 형태로 스키마를 생성합니다.

자세한 내용은 분류자 정의 및 관리 단원을 참조하십시오.