AWS Glue에서 스트리밍 ETL 작업

• Avro 스트리밍 소스에 대한 참고 사항 및 제한 사항

• 스트리밍 소스에 Grok 패턴 적용

Amazon Kinesis Data Streams(AWS Glue API 또는 AWS CLI)에 대한 스트리밍 ETL 속성을 설정하려면

• 동일한 계정에서 Kinesis 소스에 대한 스트리밍 ETL 속성을 설정하려면 CreateTable API 작업 또는 create_table CLI 명령의 StorageDescriptor 구조에서 streamName 및 endpointUrl 파라미터를 지정합니다.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamName": "sample-stream",
  		"endpointUrl": "https://kinesis.us-east-1.amazonaws.com"
  	}
  	...
  }
  					

  또는 streamARN을 지정합니다.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream"
  	}
  	...
  }

• 다른 계정에서 Kinesis 소스에 대한 스트리밍 ETL 속성을 설정하려면 CreateTable API 작업 또는 create_table CLI 명령의 StorageDescriptor 구조에서 streamARN, awsSTSRoleARN 및 awsSTSSessionName(선택 사항) 파라미터를 지정합니다.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream",
  		"awsSTSRoleARN": "arn:aws:iam::123456789:role/sample-assume-role-arn",
  		"awsSTSSessionName": "optional-session"
  	}
  	...
  }

• 스키마 감지가 설정되어 있으면 Avro 스키마가 페이로드에 포함되어야 합니다. 해제되어 있으면 데이터만 페이로드에 포함되어야 합니다.

• 일부 Avro 데이터 유형은 동적 프레임에서 지원되지 않습니다. AWS Glue 콘솔의 테이블 생성 마법사에서 [스키마 정의(Define a schema)] 페이지를 사용하여 스키마를 정의할 때 이러한 데이터 유형을 지정할 수 없습니다. 스키마 감지 중에 Avro 스키마에서 지원되지 않는 유형은 다음과 같이 지원되는 유형으로 변환됩니다.

  • EnumType => StringType

  • FixedType => BinaryType

  • UnionType => StructType

• 콘솔의 [스키마 정의(Define a schema)] 페이지를 사용하여 테이블 스키마를 정의하는 경우 스키마에 대한 암시적 루트 요소 유형은 record입니다. record 이외의 루트 요소 유형(예: array 또는 map)을 원하는 경우 [스키마 정의(Define a schema)] 페이지를 사용하여 스키마를 지정할 수 없습니다. 대신 해당 페이지를 건너뛰고 테이블 속성으로 또는 ETL 스크립트 내에서 스키마를 지정해야 합니다.

  • 테이블 속성에서 스키마를 지정하려면 테이블 생성 마법사를 완료하고 테이블 세부 정보를 편집한 다음 [테이블 속성(Table properties)]에서 새 키-값 페어를 추가합니다. 다음 스크린샷과 같이 키 avroSchema를 사용하고 값에 대한 스키마 JSON 객체를 입력합니다.

    

  • ETL 스크립트에서 스키마를 지정하려면 다음 Python 및 Scala 예제와 같이 datasource0 할당 문을 수정하고 avroSchema 키를 additional_options 인수에 추가합니다.

    Python

    SCHEMA_STRING = ‘{"type":"array","items":"string"}’
    datasource0 = glueContext.create_data_frame.from_catalog(database = "database", table_name = "table_name", transformation_ctx = "datasource0", additional_options = {"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema": SCHEMA_STRING})
    

    Scala

    val SCHEMA_STRING = """{"type":"array","items":"string"}"""
    val datasource0 = glueContext.getCatalogSource(database = "database", tableName = "table_name", redshiftTmpDir = "", transformationContext = "datasource0", additionalOptions = JsonOptions(s"""{"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema":"$SCHEMA_STRING"}""")).getDataFrame()
    

• AWS Glue 스트리밍 ETL 작업에 대한 자동 압축 해제는 지원되는 압축 유형에 대해서만 사용할 수 있습니다. 또한 다음을 참조하세요.

  • 프레임 처리된 Snappy는 Snappy용 공식 프레이밍 형식을 나타냅니다.

  • Deflate는 Glue 버전 2.0이 아닌 Glue 버전 3.0에서 지원됩니다.

• 스키마 감지를 사용하는 경우 스트리밍 데이터의 조인을 수행할 수 없습니다.

• AWS Glue 스트리밍 ETL 작업은 Avro 형식의 AWS Glue 스키마 레지스트리에 대한 Union 데이터 유형을 지원하지 않습니다.

• ETL 스크립트는 AWS Glue의 기본 제공 변환과 Apache Spark Structured Streaming에 대한 기본 변환을 사용할 수 있습니다. 자세한 내용은 Apache Spark 웹 사이트의 Operations on streaming DataFrames/Datasets 또는 AWS Glue PySpark 변환 참조 섹션을 참조하세요.

• AWS Glue 스트리밍 ETL 작업은 체크포인트를 사용하여 읽은 데이터를 추적합니다. 따라서 중지되고 다시 시작된 작업은 스트림에서 중단된 부분부터 다시 시작됩니다. 데이터를 다시 처리하려는 경우 스크립트에서 참조된 체크포인트 폴더를 삭제할 수 있습니다.

• 작업 북마크는 지원되지 않습니다.

• Kinesis Data Streams의 향상된 팬아웃 기능을 사용하려면 Kinesis 스트리밍 작업에서 향상된 팬아웃 사용 섹션을 참조하세요.

• AWS Glue Schema Registry에서 생성된 Data Catalog 테이블을 사용하는 경우 새 스키마 버전을 사용할 수 있게 되면 새 스키마를 반영하기 위해 다음을 수행해야 합니다.

  1. 테이블과 연결된 작업을 중지합니다.

  2. Data Catalog 테이블의 스키마를 업데이트합니다.

  3. 테이블과 연결된 작업을 다시 시작합니다.