시각적 작업 API
Visual Job API를 사용하면 AWS Glue 작업의 시각적 구성을 나타내는 JSON 객체에서 AWS Glue API를 사용하여 데이터 통합 작업을 생성할 수 있습니다.
생성된 작업에 대한 DAG를 AWS Glue Studio에 등록하고 연관된 코드를 생성하기 위해 생성 또는 업데이트 작업 API에 CodeGenConfigurationNodes
목록이 제공됩니다.
데이터 타입
CodeGenConfigurationNode 구조
CodeGenConfigurationNode
는 유효한 모든 노드 유형을 열거합니다. 멤버 변수 중 하나만 채울 수 있습니다.
필드
-
AthenaConnectorSource
– AthenaConnectorSource 객체입니다.Amazon Athena 데이터 원본에 대한 커넥터를 지정합니다.
-
JDBCConnectorSource
– JDBCConnectorSource 객체입니다.JDBC 데이터 원본에 대한 커넥터를 지정합니다.
-
SparkConnectorSource
– SparkConnectorSource 객체입니다.Apache Spark 데이터 원본에 대한 커넥터를 지정합니다.
-
CatalogSource
– CatalogSource 객체입니다.AWS Glue 데이터 카탈로그의 데이터 스토어를 지정합니다.
-
RedshiftSource
– RedshiftSource 객체입니다.Amazon Redshift 데이터 스토어를 지정합니다.
-
S3CatalogSource
– S3CatalogSource 객체입니다.AWS Glue 데이터 카탈로그의 Amazon S3 데이터 스토어를 지정합니다.
-
S3CsvSource
– S3CsvSource 객체입니다.Amazon S3에 저장된 CSV(쉼표로 구분된 값) 데이터 스토어를 지정합니다.
-
S3JsonSource
– S3JsonSource 객체입니다.Amazon S3에 저장된 JSON 데이터 스토어를 지정합니다.
-
S3ParquetSource
– S3ParquetSource 객체입니다.Amazon S3에 저장된 Apache Parquet 데이터 스토어를 지정합니다.
-
RelationalCatalogSource
– RelationalCatalogSource 객체입니다.AWS Glue 데이터 카탈로그의 관계형 카탈로그 데이터 소스를 지정합니다.
-
DynamoDBCatalogSource
– DynamoDBCatalogSource 객체입니다.AWS Glue 데이터 카탈로그의 DynamoDBC 카탈로그 데이터 스토어를 지정합니다.
-
JDBCConnectorTarget
– JDBCConnectorTarget 객체입니다.Apache Parquet 열 형식 스토리지의 Amazon S3에 쓰는 데이터 대상을 지정합니다.
-
SparkConnectorTarget
– SparkConnectorTarget 객체입니다.Apache Spark 커넥터를 사용하는 대상을 지정합니다.
-
CatalogTarget
– BasicCatalogTarget 객체입니다.AWS Glue 데이터 카탈로그 테이블을 사용하는 대상을 지정합니다.
-
RedshiftTarget
– RedshiftTarget 객체입니다.Amazon Redshift를 사용하는 대상을 지정합니다.
-
S3CatalogTarget
– S3CatalogTarget 객체입니다.AWS Glue 데이터 카탈로그를 사용하여 Amazon S3에 쓰는 데이터 대상을 지정합니다.
-
S3GlueParquetTarget
– S3GlueParquetTarget 객체입니다.Apache Parquet 열 형식 스토리지의 Amazon S3에 쓰는 데이터 대상을 지정합니다.
-
S3DirectTarget
– S3DirectTarget 객체입니다.Amazon S3에 쓰는 데이터 대상을 지정합니다.
-
ApplyMapping
– ApplyMapping 객체입니다.데이터 원본의 데이터 속성 키를 데이터 대상의 데이터 속성 키에 매핑하는 변환을 지정합니다. 키의 이름을 바꾸고 키의 데이터 유형을 수정하고 데이터 집합에서 삭제할 키를 선택할 수 있습니다.
-
SelectFields
– SelectFields 객체입니다.유지할 데이터 속성 키를 선택하는 변환을 지정합니다.
-
DropFields
– DropFields 객체입니다.삭제할 데이터 속성 키를 선택하는 변환을 지정합니다.
-
RenameField
– RenameField 객체입니다.단일 데이터 속성 키의 이름을 바꾸는 변환을 지정합니다.
-
Spigot
– Spigot 객체입니다.Amazon S3 버킷에 데이터 샘플을 쓰는 변환을 지정합니다.
-
Join
– 조인 객체입니다.지정된 데이터 속성 키의 비교 구문을 사용하여 두 데이터 집합을 하나의 데이터 집합으로 조인하는 변환을 지정합니다. 내부, 외부, 왼쪽, 오른쪽, 왼쪽 반 및 왼쪽 안티 조인을 사용할 수 있습니다.
-
SplitFields
– SplitFields 객체입니다.데이터 속성 키를 두 개의
DynamicFrames
로 분할하는 변환을 지정합니다. 출력은DynamicFrames
컬렉션입니다. 하나에는 선택한 데이터 속성 키가 있고 다른 하나에는 나머지 데이터 속성 키가 있습니다. -
SelectFromCollection
– SelectFromCollection 객체입니다.DynamicFrames
컬렉션에서 하나의DynamicFrame
을 선택하는 변환을 지정합니다. 출력은 선택한DynamicFrame
입니다. -
FillMissingValues
– FillMissingValues 객체입니다.데이터 집합에서 누락된 값이 있는 레코드를 찾고 대체를 통해 결정된 값으로 새 필드를 추가하는 변환을 지정합니다. 입력 데이터 집합은 누락 값을 결정하는 기계 학습 모델을 훈련하는 데 사용됩니다.
-
Filter
– Filter 객체입니다.필터 조건에 따라 하나의 데이터 집합을 두 개로 분할하는 변환을 지정합니다.
-
CustomCode
– CustomCode 객체입니다.제공한 사용자 지정 코드를 사용하여 데이터 변환을 수행하는 변환을 지정합니다. 출력은 DynamicFrames의 컬렉션입니다.
-
SparkSQL
– SparkSQL 객체입니다.데이터를 변환하기 위해 Spark SQL 구문을 사용하여 SQL 쿼리를 입력하는 변환을 지정합니다. 출력은 단일
DynamicFrame
입니다. -
DirectKinesisSource
– DirectKinesisSource 객체입니다.직접적인 Amazon Kinesis 데이터 원본을 지정합니다.
-
DirectKafkaSource
– DirectKafkaSource 객체입니다.Apache Kafka 데이터 스토어를 지정합니다.
-
CatalogKinesisSource
– CatalogKinesisSource 객체입니다.AWS Glue 데이터 카탈로그의 Kinesis 데이터 원본을 지정합니다.
-
CatalogKafkaSource
– CatalogKafkaSource 객체입니다.데이터 카탈로그의 Apache Kafka 데이터 스토어를 지정합니다.
-
DropNullFields
– DropNullFields 객체입니다.열의 모든 값이 'null'인 경우 데이터 집합에서 열을 제거하는 변환을 지정합니다. 기본값으로 AWS Glue Studio는 Null 객체를 인식하지만 빈 문자열, 'null'인 문자열, -1 정수 또는 0과 같은 다른 자리 표시자 등의 일부 값은 자동으로 Null로 인식되지 않습니다.
-
Merge
– 병합 객체입니다.레코드를 식별하기 위해 지정된 기본 키를 기준으로
DynamicFrame
을 스테이징DynamicFrame
과 병합하는 변환을 지정합니다. 중복 레코드(기본 키가 동일한 레코드)는 중복 제거되지 않습니다. -
Union
– Union 객체입니다.둘 이상 데이터 집합의 행을 단일 결과로 결합하는 변환을 지정합니다.
-
PIIDetection
– PIIDetection 객체입니다.PII 데이터를 식별, 제거 또는 마스킹하는 변환을 지정합니다.
-
Aggregate
– Aggregate 객체입니다.선택한 필드별로 행을 그룹화하고 지정된 함수에 의해 집계된 값을 계산하는 변환을 지정합니다.
-
DropDuplicates
– DropDuplicates 객체입니다.데이터세트에서 반복 데이터의 행을 제거하는 변환을 지정합니다.
-
GovernedCatalogTarget
– GovernedCatalogTarget 객체입니다.관리 카탈로그에 작성하는 데이터 대상을 지정합니다.
-
GovernedCatalogSource
– GovernedCatalogSource 객체입니다.관리 데이터 카탈로그의 데이터 소스를 지정합니다.
-
MicrosoftSQLServerCatalogSource
– MicrosoftSQLServerCatalogSource 객체입니다.AWS Glue 데이터 카탈로그의 Microsoft SQL 서버 데이터 소스를 지정합니다.
-
MySQLCatalogSource
– MySQLCatalogSource 객체입니다.AWS Glue 데이터 카탈로그의 MySQL 데이터 소스를 지정합니다.
-
OracleSQLCatalogSource
– OracleSQLCatalogSource 객체입니다.AWS Glue 데이터 카탈로그의 Oracle 데이터 소스를 지정합니다.
-
PostgreSQLCatalogSource
– PostgreSQLCatalogSource 객체입니다.AWS Glue 데이터 카탈로그의 PostgresSQL 데이터 소스를 지정합니다.
-
MicrosoftSQLServerCatalogTarget
– MicrosoftSQLServerCatalogTarget 객체입니다.Microsoft SQL을 사용하는 대상을 지정합니다.
-
MySQLCatalogTarget
– MySQLCatalogTarget 객체입니다.MySQL을 사용하는 대상을 지정합니다.
-
OracleSQLCatalogTarget
– OracleSQLCatalogTarget 객체입니다.Oracle SQL을 사용하는 대상을 지정합니다.
-
PostgreSQLCatalogTarget
– PostgreSQLCatalogTarget 객체입니다.Postgres SQL을 사용하는 대상을 지정합니다.
-
DynamicTransform
– DynamicTransform 객체입니다.사용자가 생성한 사용자 지정 시각적 변환을 지정합니다.
-
EvaluateDataQuality
– EvaluateDataQuality 객체입니다.데이터 품질 평가 기준을 지정합니다.
-
S3CatalogHudiSource
– S3CatalogHudiSource 객체입니다.AWS Glue 데이터 카탈로그에 등록된 Hudi 데이터 소스를 지정합니다. 데이터 소스를 Amazon S3에 저장해야 합니다.
-
CatalogHudiSource
– CatalogHudiSource 객체입니다.AWS Glue 데이터 카탈로그에 등록된 Hudi 데이터 소스를 지정합니다.
-
S3HudiSource
– S3HudiSource 객체입니다.Amazon S3에 저장된 Hudi 데이터 소스를 지정합니다.
-
S3HudiCatalogTarget
– S3HudiCatalogTarget 객체입니다.AWS Glue 데이터 카탈로그의 Hudi 데이터 소스에 작성하는 데이터 대상을 지정합니다.
-
S3HudiDirectTarget
– S3HudiDirectTarget 객체입니다.Amazon S3에서 Hudi 데이터 소스에 작성하는 대상을 지정합니다.
-
S3CatalogDeltaSource
– S3CatalogDeltaSource 객체입니다.AWS Glue 데이터 카탈로그에 등록된 Delta Lake 데이터 소스를 지정합니다. 데이터 소스를 Amazon S3에 저장해야 합니다.
-
CatalogDeltaSource
– CatalogDeltaSource 객체입니다.AWS Glue 데이터 카탈로그에 등록된 Delta Lake 데이터 소스를 지정합니다.
-
S3DeltaSource
– S3DeltaSource 객체입니다.Amazon S3에 저장된 Delta Lake 데이터 소스를 지정합니다.
-
S3DeltaCatalogTarget
– S3DeltaCatalogTarget 객체입니다.AWS Glue 데이터 카탈로그의 Delta Lake 데이터 소스에 작성하는 데이터 대상을 지정합니다.
-
S3DeltaDirectTarget
– S3DeltaDirectTarget 객체입니다.Amazon S3에서 Delta Lake 데이터 소스에 작성하는 대상을 지정합니다.
-
AmazonRedshiftSource
– AmazonRedshiftSource 객체입니다.Amazon Redshift에서 데이터 소스에 작성하는 대상을 지정합니다.
-
AmazonRedshiftTarget
– AmazonRedshiftTarget 객체입니다.Amazon Redshift에서 데이터 대상에 작성하는 대상을 지정합니다.
-
EvaluateDataQualityMultiFrame
– EvaluateDataQualityMultiFrame 객체입니다.데이터 품질 평가 기준을 지정합니다. 여러 입력 데이터를 허용하고 동적 프레임 컬렉션을 반환합니다.
-
Recipe
– 레시피 객체입니다.AWS Glue DataBrew 레시피 노드를 지정합니다.
-
SnowflakeSource
– SnowflakeSource 객체입니다.Snowflake 데이터 소스를 지정합니다.
-
SnowflakeTarget
– SnowflakeTarget 객체입니다.Snowflake 데이터 소스에 작성하는 대상을 지정합니다.
-
ConnectorDataSource
– ConnectorDataSource 객체입니다.표준 연결 옵션으로 생성된 소스를 지정합니다.
-
ConnectorDataTarget
– ConnectorDataTarget 객체입니다.표준 연결 옵션으로 생성된 대상을 지정합니다.
JDBCConnectorOptions 구조
커넥터에 대한 추가 연결 옵션입니다.
필드
-
FilterPredicate
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.소스에서 데이터를 필터링하기 위한 추가 조건 절입니다. 예:
BillingCity='Mountain View'
테이블 이름 대신 쿼리를 사용하는 경우 쿼리가 지정된
filterPredicate
에서 작동하는지 검증해야 합니다. -
PartitionColumn
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.분할에 사용되는 정수 열의 이름입니다. 이 옵션은
lowerBound
,upperBound
및numPartitions
에 포함되는 경우에만 작동합니다. 이 옵션은 Spark SQL JDBC 리더에서와 같은 방식으로 작동합니다. -
LowerBound
– None 이하의 숫자(정수)입니다.파티션 스트라이드를 결정하는 데 사용되는
partitionColumn
의 최소값입니다. -
UpperBound
– None 이하의 숫자(정수)입니다.파티션 스트라이드를 결정하는 데 사용되는
partitionColumn
의 최대값입니다. -
NumPartitions
– None 이하의 숫자(정수)입니다.파티션 수입니다. 이 값은
lowerBound
(포함) 및upperBound
(배타)와 함께partitionColumn
을 분할하는 데 사용되는 생성된WHERE
절 표현에 대한 파티션 스트라이드를 형성합니다. -
JobBookmarkKeys
– UTF-8 문자열의 배열입니다.정렬할 작업 북마크 키의 이름입니다.
-
JobBookmarkKeysSortOrder
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.오름차순 또는 내림차순 정렬 순서를 지정합니다.
-
DataTypeMapping
– 키-값 페어의 맵 배열입니다.각 키는 UTF-8 문자열입니다(유효한 값:
ARRAY
|BIGINT
|BINARY
|BIT
|BLOB
|BOOLEAN
|CHAR
|CLOB
|DATALINK
|DATE
|DECIMAL
|DISTINCT
|DOUBLE
|FLOAT
|INTEGER
|JAVA_OBJECT
|LONGNVARCHAR
|LONGVARBINARY
|LONGVARCHAR
|NCHAR
|NCLOB
|NULL
|NUMERIC
|NVARCHAR
|OTHER
|REAL
|REF
|REF_CURSOR
|ROWID
|SMALLINT
|SQLXML
|STRUCT
|TIME
|TIME_WITH_TIMEZONE
|TIMESTAMP
|TIMESTAMP_WITH_TIMEZONE
|TINYINT
|VARBINARY
|VARCHAR
).각 값은 UTF-8 문자열입니다(유효한 값:
DATE
|STRING
|TIMESTAMP
|INT
|FLOAT
|LONG
|BIGDECIMAL
|BYTE
|SHORT
|DOUBLE
).JDBC 데이터 유형에서 AWS Glue 데이터 유형으로의 매핑을 구축하는 사용자 지정 데이터 유형 매핑입니다. 예를 들어
"dataTypeMapping":{"FLOAT":"STRING"}
옵션은 드라이버의ResultSet.getString()
메서드를 호출하여 JDBC 유형FLOAT
의 데이터 필드를 JavaString
유형으로 매핑하고 이를 AWS Glue 레코드를 구축하는 데 사용합니다.ResultSet
객체는 각 드라이버에 의해 구현되므로 동작은 사용하는 드라이버에 따라 다릅니다. 드라이버가 변환을 수행하는 방법을 이해하려면 JDBC 드라이버에 대한 설명서를 참조하세요.
StreamingDataPreviewOptions 구조
데이터 샘플을 보기 위한 데이터 미리 보기와 관련된 옵션을 지정합니다.
필드
-
PollingTime
- 최소 10 이상의 숫자(long)입니다.밀리초 단위의 폴링 시간입니다.
-
RecordPollingLimit
- 최소 1 이상의 숫자(long)입니다.폴링되는 레코드 수에 대한 제한입니다.
AthenaConnectorSource 구조
Amazon Athena 데이터 원본에 대한 커넥터를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 원본의 이름입니다.
-
ConnectionName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.커넥터와 연관된 연결 이름입니다.
-
ConnectorName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.AWS Glue Studio에서 데이터 스토어에 액세스하는 데 도움이 되는 커넥터의 이름입니다.
-
ConnectionType
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.Amazon Athena 데이터 스토어에 대한 연결을 지정하는 marketplace.athena 또는 custom.athena와 같은 연결 유형입니다.
-
ConnectionTable
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.데이터 원본에 있는 테이블의 이름입니다.
-
SchemaName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 CloudWatch 로그 그룹의 이름입니다. 예:
/aws-glue/jobs/output
. -
OutputSchemas
– GlueSchema 객체의 배열입니다.사용자 지정 Athena 소스에 대한 데이터 스키마를 지정합니다.
JDBCConnectorSource 구조
JDBC 데이터 원본에 대한 커넥터를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 원본의 이름입니다.
-
ConnectionName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.커넥터와 연관된 연결 이름입니다.
-
ConnectorName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.AWS Glue Studio에서 데이터 스토어에 액세스하는 데 도움이 되는 커넥터의 이름입니다.
-
ConnectionType
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.JDBC 데이터 스토어에 대한 연결을 지정하는 marketplace.jdbc 또는 custom.jdbc와 같은 연결 유형입니다.
-
AdditionalOptions
– JDBCConnectorOptions 객체입니다.커넥터에 대한 추가 연결 옵션입니다.
-
ConnectionTable
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.데이터 원본에 있는 테이블의 이름입니다.
-
Query
– Custom string pattern #60과(와) 일치하는 UTF-8 문자열입니다.데이터를 가져올 테이블 또는 SQL 쿼리입니다.
ConnectionTable
또는query
을 지정할 수 있지만 둘 다 함께 지정할 수는 없습니다. -
OutputSchemas
– GlueSchema 객체의 배열입니다.사용자 지정 JDBC 소스에 대한 데이터 스키마를 지정합니다.
SparkConnectorSource 구조
Apache Spark 데이터 원본에 대한 커넥터를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 원본의 이름입니다.
-
ConnectionName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.커넥터와 연관된 연결 이름입니다.
-
ConnectorName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.AWS Glue Studio에서 데이터 스토어에 액세스하는 데 도움이 되는 커넥터의 이름입니다.
-
ConnectionType
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.Apache Spark 데이터 스토어에 대한 연결을 지정하는 marketplace.spark 또는 custom.spark와 같은 연결 유형입니다.
-
AdditionalOptions
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
커넥터에 대한 추가 연결 옵션입니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.사용자 지정 Spark 소스에 대한 데이터 스키마를 지정합니다.
CatalogSource 구조
AWS Glue 데이터 카탈로그의 데이터 스토어를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 스토어의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스 테이블의 이름입니다.
MySQLCatalogSource 구조
AWS Glue 데이터 카탈로그의 MySQL 데이터 소스를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 원본의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스 테이블의 이름입니다.
PostgreSQLCatalogSource 구조
AWS Glue 데이터 카탈로그의 PostgresSQL 데이터 소스를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 원본의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스 테이블의 이름입니다.
OracleSQLCatalogSource 구조
AWS Glue 데이터 카탈로그의 Oracle 데이터 소스를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 원본의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스 테이블의 이름입니다.
MicrosoftSQLServerCatalogSource 구조
AWS Glue 데이터 카탈로그의 Microsoft SQL 서버 데이터 소스를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 원본의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스 테이블의 이름입니다.
CatalogKinesisSource 구조
AWS Glue 데이터 카탈로그의 Kinesis 데이터 원본을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 원본의 이름입니다.
-
WindowSize
– None 이하의 숫자(정수)입니다.각 마이크로 배치를 처리하는 데 사용할 시간입니다.
-
DetectSchema
– 부울입니다.들어오는 데이터의 스키마를 자동으로 결정할지 여부입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스 테이블의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스의 이름입니다.
-
StreamingOptions
– KinesisStreamingSourceOptions 객체입니다.Kinesis 스트리밍 데이터 원본에 대한 추가 옵션입니다.
-
DataPreviewOptions
– StreamingDataPreviewOptions 객체입니다.데이터 미리 보기에 대한 추가 옵션입니다.
DirectKinesisSource 구조
직접적인 Amazon Kinesis 데이터 원본을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 원본의 이름입니다.
-
WindowSize
– None 이하의 숫자(정수)입니다.각 마이크로 배치를 처리하는 데 사용할 시간입니다.
-
DetectSchema
– 부울입니다.들어오는 데이터의 스키마를 자동으로 결정할지 여부입니다.
-
StreamingOptions
– KinesisStreamingSourceOptions 객체입니다.Kinesis 스트리밍 데이터 원본에 대한 추가 옵션입니다.
-
DataPreviewOptions
– StreamingDataPreviewOptions 객체입니다.데이터 미리 보기에 대한 추가 옵션입니다.
KinesisStreamingSourceOptions 구조
Amazon Kinesis 스트리밍 데이터 원본에 대한 추가 옵션입니다.
필드
-
EndpointUrl
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.Kinesis 엔드포인트의 URL입니다.
-
StreamName
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.Kinesis 데이터 스트림의 이름입니다.
-
Classification
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.선택적 분류입니다.
-
Delimiter
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.구분 기호 문자열을 지정합니다.
-
StartingPosition
– UTF-8 문자열입니다(유효한 값:latest="LATEST"
|trim_horizon="TRIM_HORIZON"
|earliest="EARLIEST"
|timestamp="TIMESTAMP"
).데이터를 읽을 Kinesis 데이터 스트림의 시작 위치입니다. 가능한 값은
"latest"
,"trim_horizon"
,"earliest"
또는yyyy-mm-ddTHH:MM:SSZ
패턴에서 UTC 형식의 타임스탬프 문자열입니다(여기서,Z
는 UTC 시간대 오프셋(+/-)임, 예: '2023-04-04T08:00:00-04:00'). 기본값은"latest"
입니다.참고: 'startingPosition'에서 UTC 형식의 타임스탬프 문자열 값을 사용하는 것은 AWS Glue 버전 4.0 이상에서만 지원됩니다.
-
MaxFetchTimeInMs
– None 이하의 숫자(정수)입니다.작업 실행기가 Kinesis 데이터 스트림에서 현재 배치에 대한 레코드를 읽는 데 걸리는 최대 시간(밀리초(ms) 단위로 지정)입니다. 이 시간 내에 여러 개의
GetRecords
API 호출을 할 수 있습니다. 기본값은1000
입니다. -
MaxFetchRecordsPerShard
– None 이하의 숫자(정수)입니다.마이크로 배치에 따라 Kinesis 데이터 스트림에서 샤드당 가져올 최대 레코드 수입니다. 참고: 스트리밍 작업이 이미 Kinesis의 동일한 get-records 호출에서 추가 레코드를 읽은 경우 클라이언트가 이 제한을 초과할 수 있습니다.
MaxFetchRecordsPerShard
가 엄격해야 한다면MaxRecordPerRead
의 배수여야 합니다. 기본값은100000
입니다. -
MaxRecordPerRead
– None 이하의 숫자(정수)입니다.각 getRecords 작업에서 Kinesis 데이터 스트림으로부터 가져올 최대 레코드 수입니다. 기본값은
10000
입니다. -
AddIdleTimeBetweenReads
– 부울입니다.두 개의 연속 getRecords 작업 사이에 시간 지연을 추가합니다. 기본값은
"False"
입니다. 이 옵션은 Glue 버전 2.0 이상에서만 구성할 수 있습니다. -
IdleTimeBetweenReadsInMs
– None 이하의 숫자(정수)입니다.두 개의 연속 getRecords 작업 사이의 최소 시간 지연으로, ms 단위로 지정됩니다. 기본값은
1000
입니다. 이 옵션은 Glue 버전 2.0 이상에서만 구성할 수 있습니다. -
DescribeShardInterval
– None 이하의 숫자(정수)입니다.스크립트가 리샤딩을 고려하기 위한 두 개의 ListShards API 호출 사이의 최소 시간 간격입니다. 기본값은
1s
입니다. -
NumRetries
– None 이하의 숫자(정수)입니다.Kinesis Data Streams API 요청의 최대 재시도 횟수입니다. 기본값은
3
입니다. -
RetryIntervalMs
– None 이하의 숫자(정수)입니다.Kinesis Data Streams API 호출을 재시도하기 전의 휴지 기간(ms 단위로 지정)입니다. 기본값은
1000
입니다. -
MaxRetryIntervalMs
– None 이하의 숫자(정수)입니다.Kinesis Data Streams API 호출을 두 번 재시도하는 사이의 최대 휴지 시간(ms 단위로 지정)입니다. 기본값은
10000
입니다. -
AvoidEmptyBatches
– 부울입니다.배치가 시작되기 전에 Kinesis 데이터 스트림에서 읽지 않은 데이터를 확인하여 빈 마이크로 배치 작업 생성을 방지합니다. 기본값은
"False"
입니다. -
StreamArn
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.Kinesis 데이터 스트림의 Amazon 리소스 이름(ARN)입니다.
-
RoleArn
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.AWS Security Token Service(AWS STS)를 사용하여 맡을 역할의 Amazon 리소스 이름(ARN)입니다. 이 역할에는 Kinesis 데이터 스트림에 대한 레코드 작업을 설명하거나 읽을 수 있는 권한이 있어야 합니다. 다른 계정의 데이터 스트림에 액세스할 때 이 파라미터를 사용해야 합니다.
"awsSTSSessionName"
과(와) 함께 사용합니다. -
RoleSessionName
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.AWS STS를 사용하여 역할을 맡는 세션의 식별자입니다. 다른 계정의 데이터 스트림에 액세스할 때 이 파라미터를 사용해야 합니다.
"awsSTSRoleARN"
과(와) 함께 사용합니다. -
AddRecordTimestamp
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.이 옵션이 'true'로 설정되면 데이터 출력에는 이름이 '__src_timestamp'라는 추가 열이 포함됩니다. 이 열은 스트림에서 해당 레코드를 수신한 시간을 나타냅니다. 기본값은 'false'입니다. 이 옵션은 AWS Glue 버전 4.0 이상에서 지원됩니다.
-
EmitConsumerLagMetrics
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.이 옵션을 'true'로 설정하면 각 배치에 대해 스트림에서 수신한 가장 오래된 레코드와 AWS Glue에 도착한 시간 사이의 지표를 CloudWatch로 내보냅니다. 지표의 이름은 'glue.driver.streaming.maxConsumerLagInMs'입니다. 기본값은 'false'입니다. 이 옵션은 AWS Glue 버전 4.0 이상에서 지원됩니다.
-
StartingTimestamp
– UTF-8 문자열입니다.Kinesis 데이터 스트림에서 데이터 읽기를 시작하는 레코드의 타임스탬프입니다. 가능한 값은
yyyy-mm-ddTHH:MM:SSZ
패턴에서 UTC 형식의 타임스탬프 문자열입니다(여기서, Z는 UTC 시간대 오프셋(+/-)임, 예: '2023-04-04T08:00:00+08:00').
CatalogKafkaSource 구조
데이터 카탈로그의 Apache Kafka 데이터 스토어를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 스토어의 이름입니다.
-
WindowSize
– None 이하의 숫자(정수)입니다.각 마이크로 배치를 처리하는 데 사용할 시간입니다.
-
DetectSchema
– 부울입니다.들어오는 데이터의 스키마를 자동으로 결정할지 여부입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스 테이블의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스의 이름입니다.
-
StreamingOptions
– KafkaStreamingSourceOptions 객체입니다.스트리밍 옵션을 지정합니다.
-
DataPreviewOptions
– StreamingDataPreviewOptions 객체입니다.데이터 샘플을 보기 위한 데이터 미리 보기와 관련된 옵션을 지정합니다.
DirectKafkaSource 구조
Apache Kafka 데이터 스토어를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 스토어의 이름입니다.
-
StreamingOptions
– KafkaStreamingSourceOptions 객체입니다.스트리밍 옵션을 지정합니다.
-
WindowSize
– None 이하의 숫자(정수)입니다.각 마이크로 배치를 처리하는 데 사용할 시간입니다.
-
DetectSchema
– 부울입니다.들어오는 데이터의 스키마를 자동으로 결정할지 여부입니다.
-
DataPreviewOptions
– StreamingDataPreviewOptions 객체입니다.데이터 샘플을 보기 위한 데이터 미리 보기와 관련된 옵션을 지정합니다.
KafkaStreamingSourceOptions 구조
스트리밍에 대한 추가 옵션입니다.
필드
-
BootstrapServers
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.부트스트랩 서버 URL 목록입니다(예:
b-1.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094
). 이 옵션은 API 호출에 지정하거나 데이터 카탈로그의 테이블 메타데이터에 정의해야 합니다. -
SecurityProtocol
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.브로커와 통신하는 데 사용되는 프로토콜입니다. 가능한 값은
"SSL"
또는"PLAINTEXT"
입니다. -
ConnectionName
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.연결의 이름입니다.
-
TopicName
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.Apache Kafka에 지정된 주제 이름입니다.
"topicName"
,"assign"
또는"subscribePattern"
중 하나 이상을 지정해야 합니다. -
Assign
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.사용할 특정
TopicPartitions
입니다."topicName"
,"assign"
또는"subscribePattern"
중 하나 이상을 지정해야 합니다. -
SubscribePattern
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.구독할 주제 목록을 식별하는 Java 정규식 문자열입니다.
"topicName"
,"assign"
또는"subscribePattern"
중 하나 이상을 지정해야 합니다. -
Classification
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.선택적 분류입니다.
-
Delimiter
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.구분 기호 문자열을 지정합니다.
-
StartingOffsets
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.데이터를 읽을 Kafka 주제의 시작 위치입니다. 가능한 값은
"earliest"
또는"latest"
입니다. 기본값은"latest"
입니다. -
EndingOffsets
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.배치 쿼리가 종료되는 엔드포인트입니다. 가능한 값은
"latest"
또는 각TopicPartition
의 끝 오프셋을 지정하는 JSON 문자열입니다. -
PollTimeoutMs
– None 이하의 숫자(정수)입니다.Spark 작업 실행기에서 Kafka의 데이터를 폴링하는 시간 제한(밀리초)입니다. 기본값은
512
입니다. -
NumRetries
– None 이하의 숫자(정수)입니다.Kafka 오프셋 가져오기에 실패하기 전에 재시도할 횟수입니다. 기본값은
3
입니다. -
RetryIntervalMs
– None 이하의 숫자(정수)입니다.Kafka 오프셋 가져오기를 재시도하기 전에 대기할 시간(밀리초)입니다. 기본값은
10
입니다. -
MaxOffsetsPerTrigger
– None 이하의 숫자(정수)입니다.트리거 간격당 처리되는 최대 오프셋 수에 대한 속도 제한입니다. 지정된 총 오프셋 수는 서로 다른 볼륨의
topicPartitions
에 비례하여 분할됩니다. 기본값은 null입니다. 즉, 소비자가 알려진 최신 오프셋까지 모든 오프셋을 읽습니다. -
MinPartitions
– None 이하의 숫자(정수)입니다.Kafka에서 읽을 원하는 최소 파티션 수입니다. 기본값은 null이며 이는 Spark 파티션의 수가 Kafka 파티션의 수와 동일함을 의미합니다.
-
IncludeHeaders
– 부울입니다.Kafka 헤더를 포함할지 여부입니다. 옵션이 "true"로 설정되면 데이터 출력에는 유형이
Array[Struct(key: String, value: String)]
인 "glue_streaming_kafka_headers"라는 추가 열이 포함됩니다. 기본값은 "false"입니다. 이 옵션은 AWS Glue 버전 3.0 이상에서만 사용할 수 있습니다. -
AddRecordTimestamp
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.이 옵션이 'true'로 설정되면 데이터 출력에는 이름이 '__src_timestamp'라는 추가 열이 포함됩니다. 이 열은 주제에서 해당 레코드를 수신한 시간을 나타냅니다. 기본값은 'false'입니다. 이 옵션은 AWS Glue 버전 4.0 이상에서 지원됩니다.
-
EmitConsumerLagMetrics
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.이 옵션을 'true'로 설정하면 각 배치에 대해 주제에서 수신한 가장 오래된 레코드와 AWS Glue에 도착한 시간 사이의 지표를 CloudWatch로 내보냅니다. 지표의 이름은 'glue.driver.streaming.maxConsumerLagInMs'입니다. 기본값은 'false'입니다. 이 옵션은 AWS Glue 버전 4.0 이상에서 지원됩니다.
-
StartingTimestamp
– UTF-8 문자열입니다.Kafka 주제에서 데이터 읽기를 시작하는 레코드의 타임스탬프입니다. 가능한 값은
yyyy-mm-ddTHH:MM:SSZ
패턴에서 UTC 형식의 타임스탬프 문자열입니다(여기서, Z는 UTC 시간대 오프셋(+/-)임, 예: '2023-04-04T08:00:00+08:00').StartingTimestamp
또는StartingOffsets
중 하나만 설정해야 합니다.
RedshiftSource 구조
Amazon Redshift 데이터 스토어를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.Amazon Redshift 데이터 스토어의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽어야 할 데이터베이스입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽어야 할 데이터베이스 테이블입니다.
-
RedshiftTmpDir
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.데이터베이스 외부에서 복사할 때 임시 데이터를 스테이징할 수 있는 Amazon S3 경로입니다.
-
TmpDirIAMRole
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.권한이 있는 IAM 역할입니다.
AmazonRedshiftSource 구조
Amazon Redshift 소스를 지정합니다.
필드
-
Name
– Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.Amazon Redshift 소스의 이름입니다.
-
Data
– AmazonRedshiftNodeData 객체입니다.Amazon Resshift 소스 노드의 데이터를 지정합니다.
AmazonRedshiftNodeData 구조
Amazon Redshift 노드를 지정합니다.
필드
-
AccessType
– Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.Redshift 연결을 위한 액세스 유형입니다. 직접 연결 또는 카탈로그 연결일 수 있습니다.
-
SourceType
– Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.특정 테이블이 소스인지 또는 사용자 지정 쿼리인지를 지정하기 위한 소스 유형입니다.
-
Connection
– 옵션 객체입니다.Redshift 클러스터에 대한 AWS Glue 연결입니다.
-
Schema
– 옵션 객체입니다.직접 연결로 작업하는 경우 Redshift 스키마 이름입니다.
-
Table
– 옵션 객체입니다.직접 연결로 작업하는 경우 Redshift 테이블 이름입니다.
-
CatalogDatabase
– 옵션 객체입니다.데이터 카탈로그로 작업하는 경우 AWS Glue 데이터 카탈로그 데이터베이스의 이름입니다.
-
CatalogTable
– 옵션 객체입니다.데이터 카탈로그로 작업하는 경우 AWS Glue 데이터 카탈로그 테이블의 이름입니다.
-
CatalogRedshiftSchema
– UTF-8 문자열입니다.데이터 카탈로그로 작업하는 경우 Redshift 스키마 이름입니다.
-
CatalogRedshiftTable
– UTF-8 문자열입니다.읽어야 할 데이터베이스 테이블입니다.
-
TempDir
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.데이터베이스 외부에서 복사할 때 임시 데이터를 스테이징할 수 있는 Amazon S3 경로입니다.
-
IamRole
– 옵션 객체입니다.선택 사항. S3에 연결할 때 사용하는 역할 이름입니다. 비어 있는 경우 IAM 역할은 기본적으로 작업의 역할을 사용합니다.
-
AdvancedOptions
– AmazonRedshiftAdvancedOption 객체의 배열입니다.Redshift 클러스터에 연결하는 경우 선택적 값입니다.
-
SampleQuery
– UTF-8 문자열입니다.SourceType이 '쿼리'인 경우 Redshift 소스에서 데이터를 가져오는 데 사용되는 SQL입니다.
-
PreAction
– UTF-8 문자열입니다.업서트와 함께 MERGE 또는 APPEND를 실행하기 전에 사용되는 SQL입니다.
-
PostAction
– UTF-8 문자열입니다.업서트와 함께 MERGE 또는 APPEND를 실행하기 전에 사용되는 SQL입니다.
-
Action
– UTF-8 문자열입니다.Redshift 클러스터에 쓰는 방법을 지정합니다.
-
TablePrefix
– Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.테이블의 접두사를 지정합니다.
-
Upsert
– 부울입니다.APPEND를 수행하는 경우 Redshift 싱크에서 사용되는 작업입니다.
-
MergeAction
– Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.Redshift 싱크에서 MERGE 처리 방식을 결정할 때 사용되는 작업입니다.
-
MergeWhenMatched
– Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.기존 레코드가 새 레코드와 일치하는 경우 Redshift 싱크에서 MERGE 처리 방식을 결정할 때 사용되는 작업입니다.
-
MergeWhenNotMatched
– Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.기존 레코드가 새 레코드와 일치하지 않는 경우 Redshift 싱크에서 MERGE 처리 방식을 결정할 때 사용되는 작업입니다.
-
MergeClause
– UTF-8 문자열입니다.일치하는 레코드를 처리하기 위해 사용자 지정 병합에 사용되는 SQL입니다.
-
CrawlerConnection
– UTF-8 문자열입니다.사용된 카탈로그 테이블과 연관된 연결 이름을 지정합니다.
-
TableSchema
– 옵션 객체의 배열입니다.지정된 노드에 대한 스키마 출력 배열입니다.
-
StagingTable
– UTF-8 문자열입니다.업서트와 함께 MERGE 또는 APPEND를 수행할 때 사용되는 임시 스테이징 테이블의 이름입니다.
-
SelectedColumns
– 옵션 객체의 배열입니다.업서트와 함께 MERGE 또는 APPEND를 수행할 때 일치하는 레코드를 결정하는 데 사용되는 열 이름 목록입니다.
AmazonRedshiftAdvancedOption 구조
Redshift 클러스터에 연결할 때 선택적 값을 지정합니다.
필드
-
Key
– UTF-8 문자열입니다.추가 연결 옵션의 키입니다.
-
Value
– UTF-8 문자열입니다.추가 연결 옵션의 값입니다.
옵션 구조
옵션 값을 지정합니다.
필드
-
Value
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.옵션 값을 지정합니다.
-
Label
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.옵션의 레이블을 지정합니다.
-
Description
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.옵션에 대한 설명을 지정합니다.
S3CatalogSource 구조
AWS Glue 데이터 카탈로그의 Amazon S3 데이터 스토어를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 스토어의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽어야 할 데이터베이스입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽어야 할 데이터베이스 테이블입니다.
-
PartitionPredicate
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.이 조건자를 충족하는 파티션이 삭제됩니다. 이러한 파티션에서 보존 기간 내에 있는 파일은 삭제되지 않습니다. 기본적으로
""
(비움)로 설정합니다. -
AdditionalOptions
– S3SourceAdditionalOptions 객체입니다.추가 연결 옵션을 지정합니다.
S3SourceAdditionalOptions 구조
Amazon S3 데이터 스토어에 대한 추가 연결 옵션을 지정합니다.
필드
-
BoundedSize
- 숫자(정수)입니다.처리될 데이터 집합의 대상 크기에 대한 상한을 바이트 단위로 설정합니다.
-
BoundedFiles
- 숫자(정수)입니다.처리될 대상 파일 수에 대한 상한을 설정합니다.
S3CsvSource 구조
Amazon S3에 저장된 CSV(쉼표로 구분된 값) 데이터 스토어를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 스토어의 이름입니다.
-
Paths
– 필수: UTF-8 문자열의 배열입니다.읽을 Amazon S3 경로 목록입니다.
-
CompressionType
– UTF-8 문자열입니다(유효 값:gzip="GZIP"
|bzip2="BZIP2"
).데이터 압축 방식을 지정합니다. 이 작업은 데이터에 표준 파일 확장자가 있는 경우에는 필요하지 않습니다. 가능한 값은
"gzip"
및"bzip"
입니다). -
Exclusions
– UTF-8 문자열의 배열입니다.제외할 Unix 스타일 glob 패턴의 JSON 목록이 포함된 문자열입니다. 예를 들어 "[\"**.pdf\"]"는 모든 PDF 파일을 배제합니다.
-
GroupSize
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.대상 그룹 크기(바이트)입니다. 입력 데이터 크기와 클러스터 크기에 따라 기본값을 계산합니다. 입력 파일이 50,000개 미만일 때는
"groupFiles"
을"inPartition"
으로 설정해야 적용됩니다. -
GroupFiles
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.입력에 50,000개 이상의 파일이 포함된 경우 기본값으로 파일 그룹화가 설정됩니다. 50,000개 미만인 파일로 그룹화를 설정하려면 이 파라미터를 "inPartition"으로 설정합니다. 파일이 50,000개 이상일 때 그룹화를 비활성화하려면 이 파라미터를
"none"
으로 설정합니다. -
Recurse
– 부울입니다.true로 설정할 경우 지정된 경로의 모든 하위 디렉터리에 있는 파일을 재귀적으로 읽습니다.
-
MaxBand
– None 이하의 숫자(정수)입니다.이 옵션은 s3 목록이 일정하게 유지되기 시작할 가능성이 있는 기간(밀리초)을 제어합니다. JobBookmarks를 사용하여 Amazon S3 최종 일관성을 처리할 때 수정 타임스탬프가 마지막 maxBand 밀리초에 속하는 파일은 특별히 추적됩니다. 대부분의 사용자는 이 옵션을 설정할 필요가 없습니다. 기본값은 900,000밀리초 또는 15분입니다.
-
MaxFilesInBand
– None 이하의 숫자(정수)입니다.이 옵션은 마지막 maxBand초부터 저장할 최대 파일 수를 지정합니다. 이 수를 초과할 경우 추가 파일은 건너뛰고 다음 작업 실행에서만 처리됩니다.
-
AdditionalOptions
– S3DirectSourceAdditionalOptions 객체입니다.추가 연결 옵션을 지정합니다.
-
Separator
– 필수: UTF-8 문자열입니다(유효한 값:comma="COMMA"
|ctrla="CTRLA"
|pipe="PIPE"
|semicolon="SEMICOLON"
|tab="TAB"
).구분 기호 문자열을 지정합니다. 기본값은 쉼표(",")지만 다른 문자도 지정할 수 있습니다.
-
Escaper
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.이스케이프에 사용할 문자를 지정합니다. 이 옵션은 CSV 파일을 읽을 때만 사용됩니다. 기본값은
none
입니다. 활성화된 경우 바로 다음에 나오는 문자가 잘 알려진 이스케이프 세트(\n
,\r
,\t
및\0
)를 제외하고는 있는 그대로 사용됩니다. -
QuoteChar
– 필수: UTF-8 문자열입니다(유효한 값:quote="QUOTE"
|quillemet="QUILLEMET"
|single_quote="SINGLE_QUOTE"
|disabled="DISABLED"
).인용에 사용할 문자를 지정합니다. 기본 문자는 큰 따옴표(")입니다:
'"'
. 전체 인용을 해제하려면 이 값을-1
로 설정합니다. -
Multiline
– 부울입니다.단일 기록이 다양한 라인을 포괄할 수 있는지 여부를 지정하는 부울 값입니다. 필드가 인용된 새로운 라인 문자를 포함할 때 발생합니다. 레코드가 여러 줄에 걸쳐 있는 경우 이 옵션을 True로 설정해야 합니다. 기본값은
False
이라서 파싱 동안 더 많은 공격적 파일 쪼개기가 가능합니다. -
WithHeader
– 부울입니다.첫 번째 라인을 헤더로 취급할지 여부를 지정하는 부울 값입니다. 기본값은
False
입니다. -
WriteHeader
– 부울입니다.헤더를 작성하여 출력할지 여부를 지정하는 부울 값입니다. 기본값은
True
입니다. -
SkipFirst
– 부울입니다.첫 번째 데이터 라인을 건너뛸지 여부를 지정하는 부울 값입니다. 기본값은
False
입니다. -
OptimizePerformance
– 부울입니다.Apache Arrow 기반 열 형식 메모리 포맷과 함께 고급 SIMD CSV 리더를 사용할지 여부를 지정하는 부울 값입니다. AWS Glue 버전 3.0에서만 사용할 수 있습니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.S3 CSV 소스에 대한 데이터 스키마를 지정합니다.
DirectJDBCSource 구조
직접 JDBC 소스 연결을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.JDBC 소스 연결의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.JDBC 소스 연결의 데이터베이스입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.JDBC 소스 연결의 테이블입니다.
-
ConnectionName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.JDBC 소스의 연결 이름입니다.
-
ConnectionType
– 필수: UTF-8 문자열입니다(유효한 값:sqlserver
|mysql
|oracle
|postgresql
|redshift
).JDBC 소스의 연결 유형입니다.
-
RedshiftTmpDir
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.JDBC Redshift 소스의 임시 디렉터리입니다.
S3DirectSourceAdditionalOptions 구조
Amazon S3 데이터 스토어에 대한 추가 연결 옵션을 지정합니다.
필드
-
BoundedSize
- 숫자(정수)입니다.처리될 데이터 집합의 대상 크기에 대한 상한을 바이트 단위로 설정합니다.
-
BoundedFiles
- 숫자(정수)입니다.처리될 대상 파일 수에 대한 상한을 설정합니다.
-
EnableSamplePath
– 부울입니다.샘플 경로를 사용 설정하는 옵션을 설정합니다.
-
SamplePath
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.사용 설정된 경우 샘플 경로를 지정합니다.
S3JsonSource 구조
Amazon S3에 저장된 JSON 데이터 스토어를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 스토어의 이름입니다.
-
Paths
– 필수: UTF-8 문자열의 배열입니다.읽을 Amazon S3 경로 목록입니다.
-
CompressionType
– UTF-8 문자열입니다(유효 값:gzip="GZIP"
|bzip2="BZIP2"
).데이터 압축 방식을 지정합니다. 이 작업은 데이터에 표준 파일 확장자가 있는 경우에는 필요하지 않습니다. 가능한 값은
"gzip"
및"bzip"
입니다). -
Exclusions
– UTF-8 문자열의 배열입니다.제외할 Unix 스타일 glob 패턴의 JSON 목록이 포함된 문자열입니다. 예를 들어 "[\"**.pdf\"]"는 모든 PDF 파일을 배제합니다.
-
GroupSize
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.대상 그룹 크기(바이트)입니다. 입력 데이터 크기와 클러스터 크기에 따라 기본값을 계산합니다. 입력 파일이 50,000개 미만일 때는
"groupFiles"
을"inPartition"
으로 설정해야 적용됩니다. -
GroupFiles
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.입력에 50,000개 이상의 파일이 포함된 경우 기본값으로 파일 그룹화가 설정됩니다. 50,000개 미만인 파일로 그룹화를 설정하려면 이 파라미터를 "inPartition"으로 설정합니다. 파일이 50,000개 이상일 때 그룹화를 비활성화하려면 이 파라미터를
"none"
으로 설정합니다. -
Recurse
– 부울입니다.true로 설정할 경우 지정된 경로의 모든 하위 디렉터리에 있는 파일을 재귀적으로 읽습니다.
-
MaxBand
– None 이하의 숫자(정수)입니다.이 옵션은 s3 목록이 일정하게 유지되기 시작할 가능성이 있는 기간(밀리초)을 제어합니다. JobBookmarks를 사용하여 Amazon S3 최종 일관성을 처리할 때 수정 타임스탬프가 마지막 maxBand 밀리초에 속하는 파일은 특별히 추적됩니다. 대부분의 사용자는 이 옵션을 설정할 필요가 없습니다. 기본값은 900,000밀리초 또는 15분입니다.
-
MaxFilesInBand
– None 이하의 숫자(정수)입니다.이 옵션은 마지막 maxBand초부터 저장할 최대 파일 수를 지정합니다. 이 수를 초과할 경우 추가 파일은 건너뛰고 다음 작업 실행에서만 처리됩니다.
-
AdditionalOptions
– S3DirectSourceAdditionalOptions 객체입니다.추가 연결 옵션을 지정합니다.
-
JsonPath
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.JSON 데이터를 정의하는 JsonPath 문자열입니다.
-
Multiline
– 부울입니다.단일 기록이 다양한 라인을 포괄할 수 있는지 여부를 지정하는 부울 값입니다. 필드가 인용된 새로운 라인 문자를 포함할 때 발생합니다. 레코드가 여러 줄에 걸쳐 있는 경우 이 옵션을 True로 설정해야 합니다. 기본값은
False
이라서 파싱 동안 더 많은 공격적 파일 쪼개기가 가능합니다. -
OutputSchemas
– GlueSchema 객체의 배열입니다.S3 JSON 소스에 대한 데이터 스키마를 지정합니다.
S3ParquetSource 구조
Amazon S3에 저장된 Apache Parquet 데이터 스토어를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 스토어의 이름입니다.
-
Paths
– 필수: UTF-8 문자열의 배열입니다.읽을 Amazon S3 경로 목록입니다.
-
CompressionType
– UTF-8 문자열입니다(유효한 값:snappy="SNAPPY"
|lzo="LZO"
|gzip="GZIP"
|uncompressed="UNCOMPRESSED"
|none="NONE"
).데이터 압축 방식을 지정합니다. 이 작업은 데이터에 표준 파일 확장자가 있는 경우에는 필요하지 않습니다. 가능한 값은
"gzip"
및"bzip"
입니다). -
Exclusions
– UTF-8 문자열의 배열입니다.제외할 Unix 스타일 glob 패턴의 JSON 목록이 포함된 문자열입니다. 예를 들어 "[\"**.pdf\"]"는 모든 PDF 파일을 배제합니다.
-
GroupSize
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.대상 그룹 크기(바이트)입니다. 입력 데이터 크기와 클러스터 크기에 따라 기본값을 계산합니다. 입력 파일이 50,000개 미만일 때는
"groupFiles"
을"inPartition"
으로 설정해야 적용됩니다. -
GroupFiles
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.입력에 50,000개 이상의 파일이 포함된 경우 기본값으로 파일 그룹화가 설정됩니다. 50,000개 미만인 파일로 그룹화를 설정하려면 이 파라미터를 "inPartition"으로 설정합니다. 파일이 50,000개 이상일 때 그룹화를 비활성화하려면 이 파라미터를
"none"
으로 설정합니다. -
Recurse
– 부울입니다.true로 설정할 경우 지정된 경로의 모든 하위 디렉터리에 있는 파일을 재귀적으로 읽습니다.
-
MaxBand
– None 이하의 숫자(정수)입니다.이 옵션은 s3 목록이 일정하게 유지되기 시작할 가능성이 있는 기간(밀리초)을 제어합니다. JobBookmarks를 사용하여 Amazon S3 최종 일관성을 처리할 때 수정 타임스탬프가 마지막 maxBand 밀리초에 속하는 파일은 특별히 추적됩니다. 대부분의 사용자는 이 옵션을 설정할 필요가 없습니다. 기본값은 900,000밀리초 또는 15분입니다.
-
MaxFilesInBand
– None 이하의 숫자(정수)입니다.이 옵션은 마지막 maxBand초부터 저장할 최대 파일 수를 지정합니다. 이 수를 초과할 경우 추가 파일은 건너뛰고 다음 작업 실행에서만 처리됩니다.
-
AdditionalOptions
– S3DirectSourceAdditionalOptions 객체입니다.추가 연결 옵션을 지정합니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.S3 Parquet 소스에 대한 데이터 스키마를 지정합니다.
S3DeltaSource 구조
Amazon S3에 저장된 Delta Lake 데이터 소스를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.Delta Lake 소스의 이름입니다.
-
Paths
– 필수: UTF-8 문자열의 배열입니다.읽을 Amazon S3 경로 목록입니다.
-
AdditionalDeltaOptions
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
추가 연결 옵션을 지정합니다.
-
AdditionalOptions
– S3DirectSourceAdditionalOptions 객체입니다.커넥터의 추가 옵션을 지정합니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.Delta Lake 소스에 대한 데이터 스키마를 지정합니다.
S3CatalogDeltaSource 구조
AWS Glue 데이터 카탈로그에 등록된 Delta Lake 데이터 소스를 지정합니다. 데이터 소스를 Amazon S3에 저장해야 합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.Delta Lake 데이터 소스의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스 테이블의 이름입니다.
-
AdditionalDeltaOptions
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
추가 연결 옵션을 지정합니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.Delta Lake 소스에 대한 데이터 스키마를 지정합니다.
CatalogDeltaSource 구조
AWS Glue 데이터 카탈로그에 등록된 Delta Lake 데이터 소스를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.Delta Lake 데이터 소스의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스 테이블의 이름입니다.
-
AdditionalDeltaOptions
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
추가 연결 옵션을 지정합니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.Delta Lake 소스에 대한 데이터 스키마를 지정합니다.
S3HudiSource 구조
Amazon S3에 저장된 Hudi 데이터 소스를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.Hudi 테이블의 이름입니다.
-
Paths
– 필수: UTF-8 문자열의 배열입니다.읽을 Amazon S3 경로 목록입니다.
-
AdditionalHudiOptions
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
추가 연결 옵션을 지정합니다.
-
AdditionalOptions
– S3DirectSourceAdditionalOptions 객체입니다.커넥터의 추가 옵션을 지정합니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.Hudi 소스에 대한 데이터 스키마를 지정합니다.
S3CatalogHudiSource 구조
AWS Glue 데이터 카탈로그에 등록된 Hudi 데이터 소스를 지정합니다. Hudi 데이터 소스를 Amazon S3에 저장해야 합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.Hudi 데이터 소스의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스 테이블의 이름입니다.
-
AdditionalHudiOptions
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
추가 연결 옵션을 지정합니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.Hudi 소스에 대한 데이터 스키마를 지정합니다.
CatalogHudiSource 구조
AWS Glue 데이터 카탈로그에 등록된 Hudi 데이터 소스를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.Hudi 데이터 소스의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스 테이블의 이름입니다.
-
AdditionalHudiOptions
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
추가 연결 옵션을 지정합니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.Hudi 소스에 대한 데이터 스키마를 지정합니다.
DynamoDBCatalogSource 구조
AWS Glue 데이터 카탈로그의 DynamoDB 데이터 소스를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 원본의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스 테이블의 이름입니다.
RelationalCatalogSource 구조
AWS Glue 데이터 카탈로그의 관계형 데이터베이스 데이터 소스를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 원본의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽을 데이터베이스 테이블의 이름입니다.
JDBCConnectorTarget 구조
Apache Parquet 열 형식 스토리지의 Amazon S3에 쓰는 데이터 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
ConnectionName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.커넥터와 연관된 연결 이름입니다.
-
ConnectionTable
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.데이터 대상에 있는 테이블의 이름입니다.
-
ConnectorName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.사용할 커넥터의 이름입니다.
-
ConnectionType
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.JDBC 데이터 대상에 대한 연결을 지정하는 marketplace.jdbc 또는 custom.jdbc와 같은 연결 유형입니다.
-
AdditionalOptions
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
커넥터에 대한 추가 연결 옵션입니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.JDBC 대상의 데이터 스키마를 지정합니다.
SparkConnectorTarget 구조
Apache Spark 커넥터를 사용하는 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
ConnectionName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.Apache Spark 커넥터에 대한 연결 이름입니다.
-
ConnectorName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.Apache Spark 커넥터의 이름입니다.
-
ConnectionType
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.Apache Spark 데이터 스토어에 대한 연결을 지정하는 marketplace.spark 또는 custom.spark와 같은 연결 유형입니다.
-
AdditionalOptions
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
커넥터에 대한 추가 연결 옵션입니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.사용자 지정 Spark 대상에 대한 데이터 스키마를 지정합니다.
BasicCatalogTarget 구조
AWS Glue 데이터 카탈로그 테이블을 사용하는 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
PartitionKeys
– UTF-8 문자열의 배열입니다.특정 키 또는 키 세트를 기반으로 여러 파티션 또는 샤드에 데이터를 분산하는 데 사용되는 파티션 키.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.대상으로 사용할 테이블이 포함된 데이터베이스입니다. 이 데이터베이스가 데이터 카탈로그에 이미 존재해야 합니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.출력 데이터의 스키마를 정의하는 테이블입니다. 이 테이블이 데이터 카탈로그에 이미 존재해야 합니다.
MySQLCatalogTarget 구조
MySQL을 사용하는 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스 테이블의 이름입니다.
PostgreSQLCatalogTarget 구조
Postgres SQL을 사용하는 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스 테이블의 이름입니다.
OracleSQLCatalogTarget 구조
Oracle SQL을 사용하는 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스 테이블의 이름입니다.
MicrosoftSQLServerCatalogTarget 구조
Microsoft SQL을 사용하는 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스 테이블의 이름입니다.
RedshiftTarget 구조
Amazon Redshift를 사용하는 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스의 이름입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스 테이블의 이름입니다.
-
RedshiftTmpDir
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.데이터베이스 외부에서 복사할 때 임시 데이터를 스테이징할 수 있는 Amazon S3 경로입니다.
-
TmpDirIAMRole
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.권한이 있는 IAM 역할입니다.
-
UpsertRedshiftOptions
– UpsertRedshiftTargetOptions 객체입니다.Redshift 대상에 쓸 때 업서트 작업을 구성하는 옵션 세트입니다.
AmazonRedshiftTarget 구조
Amazon Redshift 대상을 지정합니다.
필드
-
Name
– Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.Amazon Redshift 대상의 이름입니다.
-
Data
– AmazonRedshiftNodeData 객체입니다.Amazon Redshift 대상 노드의 데이터를 지정합니다.
-
Inputs
– UTF-8 문자열의 배열입니다(1개의 문자열).데이터 대상에 대한 입력인 노드입니다.
UpsertRedshiftTargetOptions 구조
Redshift 대상에 쓸 때 업서트 작업을 구성하는 옵션입니다.
필드
-
TableLocation
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.Redshift 테이블의 물리적 위치입니다.
-
ConnectionName
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.Redshift에 쓰는 데 사용할 연결 이름입니다.
-
UpsertKeys
– UTF-8 문자열의 배열입니다.업데이트 또는 삽입 수행 여부를 결정하는 데 사용되는 키입니다.
S3CatalogTarget 구조
AWS Glue 데이터 카탈로그를 사용하여 Amazon S3에 쓰는 데이터 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
PartitionKeys
– UTF-8 문자열의 배열입니다.일련의 키를 사용하여 기본 분할을 지정합니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스 테이블의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스의 이름입니다.
-
SchemaChangePolicy
– CatalogSchemaChangePolicy 객체입니다.크롤러에 대한 업데이트 동작을 지정하는 정책입니다.
S3GlueParquetTarget 구조
Apache Parquet 열 형식 스토리지의 Amazon S3에 쓰는 데이터 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
PartitionKeys
– UTF-8 문자열의 배열입니다.일련의 키를 사용하여 기본 분할을 지정합니다.
-
Path
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 단일 Amazon S3 경로입니다.
-
Compression
– UTF-8 문자열입니다(유효한 값:snappy="SNAPPY"
|lzo="LZO"
|gzip="GZIP"
|uncompressed="UNCOMPRESSED"
|none="NONE"
).데이터 압축 방식을 지정합니다. 이 작업은 데이터에 표준 파일 확장자가 있는 경우에는 필요하지 않습니다. 가능한 값은
"gzip"
및"bzip"
입니다). -
SchemaChangePolicy
– DirectSchemaChangePolicy 객체입니다.크롤러에 대한 업데이트 동작을 지정하는 정책입니다.
CatalogSchemaChangePolicy 구조
크롤러에 대한 업데이트 동작을 지정하는 정책입니다.
필드
-
EnableUpdateCatalog
– 부울입니다.크롤러가 변경된 스키마를 찾았을 때 지정된 업데이트 동작을 사용할지 여부입니다.
-
UpdateBehavior
– UTF-8 문자열입니다(유효 값:UPDATE_IN_DATABASE
|LOG
).크롤러가 변화된 객체를 찾을 때 업데이트 동작.
S3DirectTarget 구조
Amazon S3에 쓰는 데이터 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
PartitionKeys
– UTF-8 문자열의 배열입니다.일련의 키를 사용하여 기본 분할을 지정합니다.
-
Path
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 단일 Amazon S3 경로입니다.
-
Compression
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.데이터 압축 방식을 지정합니다. 이 작업은 데이터에 표준 파일 확장자가 있는 경우에는 필요하지 않습니다. 가능한 값은
"gzip"
및"bzip"
입니다). -
Format
– 필수: UTF-8 문자열입니다(유효한 값:json="JSON"
|csv="CSV"
|avro="AVRO"
|orc="ORC"
|parquet="PARQUET"
|hudi="HUDI"
|delta="DELTA"
).대상에 대한 데이터 출력 포맷을 지정합니다.
-
SchemaChangePolicy
– DirectSchemaChangePolicy 객체입니다.크롤러에 대한 업데이트 동작을 지정하는 정책입니다.
S3HudiCatalogTarget 구조
AWS Glue 데이터 카탈로그의 Hudi 데이터 소스에 작성하는 데이터 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
PartitionKeys
– UTF-8 문자열의 배열입니다.일련의 키를 사용하여 기본 분할을 지정합니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스 테이블의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스의 이름입니다.
-
AdditionalOptions
– 필수(Required): 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
커넥터에 대한 추가 연결 옵션을 지정합니다.
-
SchemaChangePolicy
– CatalogSchemaChangePolicy 객체입니다.크롤러에 대한 업데이트 동작을 지정하는 정책입니다.
S3HudiDirectTarget 구조
Amazon S3에서 Hudi 데이터 소스에 작성하는 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
Path
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 Hudi 데이터 소스의 Amazon S3 경로입니다.
-
Compression
– 필수: UTF-8 문자열입니다(유효한 값:gzip="GZIP"
|lzo="LZO"
|uncompressed="UNCOMPRESSED"
|snappy="SNAPPY"
).데이터 압축 방식을 지정합니다. 이 작업은 데이터에 표준 파일 확장자가 있는 경우에는 필요하지 않습니다. 가능한 값은
"gzip"
및"bzip"
입니다). -
PartitionKeys
– UTF-8 문자열의 배열입니다.일련의 키를 사용하여 기본 분할을 지정합니다.
-
Format
– 필수: UTF-8 문자열입니다(유효한 값:json="JSON"
|csv="CSV"
|avro="AVRO"
|orc="ORC"
|parquet="PARQUET"
|hudi="HUDI"
|delta="DELTA"
).대상에 대한 데이터 출력 포맷을 지정합니다.
-
AdditionalOptions
– 필수(Required): 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
커넥터에 대한 추가 연결 옵션을 지정합니다.
-
SchemaChangePolicy
– DirectSchemaChangePolicy 객체입니다.크롤러에 대한 업데이트 동작을 지정하는 정책입니다.
S3DeltaCatalogTarget 구조
AWS Glue 데이터 카탈로그의 Delta Lake 데이터 소스에 작성하는 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
PartitionKeys
– UTF-8 문자열의 배열입니다.일련의 키를 사용하여 기본 분할을 지정합니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스 테이블의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스의 이름입니다.
-
AdditionalOptions
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
커넥터에 대한 추가 연결 옵션을 지정합니다.
-
SchemaChangePolicy
– CatalogSchemaChangePolicy 객체입니다.크롤러에 대한 업데이트 동작을 지정하는 정책입니다.
S3DeltaDirectTarget 구조
Amazon S3에서 Delta Lake 데이터 소스에 작성하는 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
PartitionKeys
– UTF-8 문자열의 배열입니다.일련의 키를 사용하여 기본 분할을 지정합니다.
-
Path
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 Delta Lake 데이터 소스의 Amazon S3 경로입니다.
-
Compression
– 필수: UTF-8 문자열입니다(유효한 값:uncompressed="UNCOMPRESSED"
|snappy="SNAPPY"
).데이터 압축 방식을 지정합니다. 이 작업은 데이터에 표준 파일 확장자가 있는 경우에는 필요하지 않습니다. 가능한 값은
"gzip"
및"bzip"
입니다). -
Format
– 필수: UTF-8 문자열입니다(유효한 값:json="JSON"
|csv="CSV"
|avro="AVRO"
|orc="ORC"
|parquet="PARQUET"
|hudi="HUDI"
|delta="DELTA"
).대상에 대한 데이터 출력 포맷을 지정합니다.
-
AdditionalOptions
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
커넥터에 대한 추가 연결 옵션을 지정합니다.
-
SchemaChangePolicy
– DirectSchemaChangePolicy 객체입니다.크롤러에 대한 업데이트 동작을 지정하는 정책입니다.
DirectSchemaChangePolicy 구조
크롤러에 대한 업데이트 동작을 지정하는 정책입니다.
필드
-
EnableUpdateCatalog
– 부울입니다.크롤러가 변경된 스키마를 찾았을 때 지정된 업데이트 동작을 사용할지 여부입니다.
-
UpdateBehavior
– UTF-8 문자열입니다(유효 값:UPDATE_IN_DATABASE
|LOG
).크롤러가 변화된 객체를 찾을 때 업데이트 동작.
-
Table
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.스키마 변경 정책이 적용되는 데이터베이스의 테이블을 지정합니다.
-
Database
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.스키마 변경 정책이 적용되는 데이터베이스를 지정합니다.
ApplyMapping 구조
데이터 원본의 데이터 속성 키를 데이터 대상의 데이터 속성 키에 매핑하는 변환을 지정합니다. 키의 이름을 바꾸고 키의 데이터 유형을 수정하고 데이터 집합에서 삭제할 키를 선택할 수 있습니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.노드 이름으로 식별된 데이터 입력입니다.
-
Mapping
– 필수: Mapping 객체의 배열입니다.데이터 원본의 데이터 속성 키를 데이터 대상의 데이터 속성 키에 매핑하도록 지정합니다.
Mapping 구조
데이터 속성 키의 매핑을 지정합니다.
필드
-
ToKey
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.매핑을 적용한 후의 열 이름입니다.
FromPath
와 같을 수 있습니다. -
FromPath
– UTF-8 문자열의 배열입니다.수정할 테이블 또는 열입니다.
-
FromType
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.수정할 데이터 유형입니다.
-
ToType
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.데이터가 수정되는 데이터 유형입니다.
-
Dropped
– 부울입니다.true인 경우 열이 제거됩니다.
-
Children
– Mapping 객체의 배열입니다.중첩된 데이터 구조에만 적용됩니다. 상위 구조뿐만 아니라 하위 구조 중 하나도 변경하려는 경우 이 데이터 구조를 작성할 수 있습니다. 마찬가지로
Mapping
이지만 해당FromPath
도 상위 구조의FromPath
와 이 구조의FromPath
가 됩니다.하위 부분의 경우 다음과 같은 구조가 있다고 가정합니다.
{ "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }
다음과 같은
Mapping
을 지정할 수 있습니다.{ "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }
SelectFields 구조
유지할 데이터 속성 키를 선택하는 변환을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.노드 이름으로 식별된 데이터 입력입니다.
-
Paths
– 필수: UTF-8 문자열의 배열입니다.데이터 구조의 변수에 대한 JSON 경로입니다.
DropFields 구조
삭제할 데이터 속성 키를 선택하는 변환을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.노드 이름으로 식별된 데이터 입력입니다.
-
Paths
– 필수: UTF-8 문자열의 배열입니다.데이터 구조의 변수에 대한 JSON 경로입니다.
RenameField 구조
단일 데이터 속성 키의 이름을 바꾸는 변환을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.노드 이름으로 식별된 데이터 입력입니다.
-
SourcePath
– 필수: UTF-8 문자열의 배열입니다.소스 데이터에 대한 데이터 구조의 변수에 대한 JSON 경로입니다.
-
TargetPath
– 필수: UTF-8 문자열의 배열입니다.대상 데이터에 대한 데이터 구조의 변수에 대한 JSON 경로입니다.
Spigot 구조
Amazon S3 버킷에 데이터 샘플을 쓰는 변환을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.노드 이름으로 식별된 데이터 입력입니다.
-
Path
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.변환이 데이터 집합의 레코드 하위 집합을 Amazon S3 버킷의 JSON 파일에 쓰는 Amazon S3의 경로입니다.
-
Topk
– 100 이하의 숫자(정수)입니다.데이터 집합의 시작 부분부터 쓸 레코드 수를 지정합니다.
-
Prob
– 1 이하의 숫자(double)입니다.지정된 레코드를 선택할 확률(최대값이 1인 소수 값)입니다. 값 1은 데이터 집합에서 읽은 각 행이 샘플 출력에 포함되어야 함을 나타냅니다.
조인 구조
지정된 데이터 속성 키의 비교 구문을 사용하여 두 데이터 집합을 하나의 데이터 집합으로 조인하는 변환을 지정합니다. 내부, 외부, 왼쪽, 오른쪽, 왼쪽 반 및 왼쪽 안티 조인을 사용할 수 있습니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(2개 이상)입니다.노드 이름으로 식별된 데이터 입력입니다.
-
JoinType
– 필수: UTF-8 문자열입니다(유효한 값:equijoin="EQUIJOIN"
|left="LEFT"
|right="RIGHT"
|outer="OUTER"
|leftsemi="LEFT_SEMI"
|leftanti="LEFT_ANTI"
).데이터 집합에서 수행할 조인 유형을 지정합니다.
-
Columns
– 필수(Required): 2개 이상의 구조로 이루어진 JoinColumn 객체의 배열입니다.조인할 두 열의 목록입니다.
JoinColumn 구조
조인할 열을 지정합니다.
필드
-
From
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.조인할 열입니다.
-
Keys
– 필수: UTF-8 문자열의 배열입니다.조인할 열의 키입니다.
SplitFields 구조
데이터 속성 키를 두 개의 DynamicFrames
로 분할하는 변환을 지정합니다. 출력은 DynamicFrames
컬렉션입니다. 하나에는 선택한 데이터 속성 키가 있고 다른 하나에는 나머지 데이터 속성 키가 있습니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.노드 이름으로 식별된 데이터 입력입니다.
-
Paths
– 필수: UTF-8 문자열의 배열입니다.데이터 구조의 변수에 대한 JSON 경로입니다.
SelectFromCollection 구조
DynamicFrames
컬렉션에서 하나의 DynamicFrame
을 선택하는 변환을 지정합니다. 출력은 선택한 DynamicFrame
입니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.노드 이름으로 식별된 데이터 입력입니다.
-
Index
– 필수(Required): None 이하의 숫자(정수)입니다.선택할 DynamicFrame의 인덱스입니다.
FillMissingValues 구조
데이터 집합에서 누락된 값이 있는 레코드를 찾고 대체를 통해 결정된 값으로 새 필드를 추가하는 변환을 지정합니다. 입력 데이터 집합은 누락 값을 결정하는 기계 학습 모델을 훈련하는 데 사용됩니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.노드 이름으로 식별된 데이터 입력입니다.
-
ImputedPath
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.대체된 데이터 집합에 대한 데이터 구조의 변수에 대한 JSON 경로입니다.
-
FilledPath
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.작성된 데이터 집합에 대한 데이터 구조의 변수에 대한 JSON 경로입니다.
Filter 구조
필터 조건에 따라 하나의 데이터 집합을 두 개로 분할하는 변환을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.노드 이름으로 식별된 데이터 입력입니다.
-
LogicalOperator
– 필수: UTF-8 문자열입니다(유효한 값:AND
|OR
).키 값을 지정된 값과 비교하여 행을 필터링하는 데 사용되는 연산자입니다.
-
Filters
– 필수(Required): FilterExpression 객체의 배열입니다.필터 표현식을 지정합니다.
FilterExpression 구조
필터 표현식을 지정합니다.
필드
-
Operation
– 필수: UTF-8 문자열입니다(유효한 값:EQ
|LT
|GT
|LTE
|GTE
|REGEX
|ISNULL
).표현식에서 수행할 작업의 유형입니다.
-
Negated
– 부울입니다.표현식을 부정할지 여부입니다.
-
Values
– 필수(Required): FilterValue 객체의 배열입니다.필터 값 목록입니다.
FilterValue 구조
FilterExpression
의 값 목록에 있는 단일 항목을 나타냅니다.
필드
-
Type
– 필수: UTF-8 문자열입니다(유효한 값:COLUMNEXTRACTED
|CONSTANT
).필터 값 유형입니다.
-
Value
– 필수: UTF-8 문자열의 배열입니다.연결할 값입니다.
CustomCode 구조
제공한 사용자 지정 코드를 사용하여 데이터 변환을 수행하는 변환을 지정합니다. 출력은 DynamicFrames의 컬렉션입니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수: UTF-8 문자열의 배열이며 문자열은 1개 이상입니다.노드 이름으로 식별된 데이터 입력입니다.
-
Code
– 필수: Custom string pattern #52과(와) 일치하는 UTF-8 문자열입니다.데이터 변환을 수행하는 데 사용되는 사용자 지정 코드입니다.
-
ClassName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.사용자 지정 코드 노드 클래스에 대해 정의된 이름입니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.사용자 지정 코드 변환에 대한 데이터 스키마를 지정합니다.
SparkSQL 구조
데이터를 변환하기 위해 Spark SQL 구문을 사용하여 SQL 쿼리를 입력하는 변환을 지정합니다. 출력은 단일 DynamicFrame
입니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수: UTF-8 문자열의 배열이며 문자열은 1개 이상입니다.노드 이름으로 식별된 데이터 입력입니다. SQL 쿼리에 사용할 각 입력 노드와 테이블 이름을 연결할 수 있습니다. 선택한 이름은 Spark SQL 이름 지정 제한을 충족해야 합니다.
-
SqlQuery
– 필수: Custom string pattern #60과(와) 일치하는 UTF-8 문자열입니다.Spark SQL 구문을 사용하고 단일 데이터 집합을 반환해야 하는 SQL 쿼리입니다.
-
SqlAliases
– 필수(Required): SqlAlias 객체의 배열입니다.별칭 목록입니다. 별칭을 사용하면 지정된 입력에 대해 SQL에서 사용할 이름을 지정할 수 있습니다. 예를 들어 'MyDataSource'라는 데이터 원본이 있습니다.
From
을 MyDataSource로,Alias
를 SqlName으로 지정할 경우 SQL에서 다음을 수행할 수 있습니다.select * from SqlName
그러면 MyDataSource에서 데이터를 가져옵니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.SparkSQL 변환에 대한 데이터 스키마를 지정합니다.
SqlAlias 구조
SqlAliases
의 값 목록에 있는 단일 항목을 나타냅니다.
필드
-
From
– 필수: Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.테이블 또는 테이블의 열입니다.
-
Alias
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.테이블 또는 테이블의 열에 지정된 임시 이름입니다.
DropNullFields 구조
열의 모든 값이 'null'인 경우 데이터 집합에서 열을 제거하는 변환을 지정합니다. 기본값으로 AWS Glue Studio는 Null 객체를 인식하지만 빈 문자열, 'null'인 문자열, -1 정수 또는 0과 같은 다른 자리 표시자 등의 일부 값은 자동으로 Null로 인식되지 않습니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.노드 이름으로 식별된 데이터 입력입니다.
-
NullCheckBoxList
– NullCheckBoxList 객체입니다.특정 값을 제거하기 위해 Null 값으로 인식할지 여부를 나타내는 구조입니다.
-
NullTextList
– NullValueField 객체의 배열이며 구조는 50개 이하입니다.0이나 데이터 집합에 고유한 Null 자리 표시자로 사용되는 다른 값과 같은 사용자 지정 Null 값을 나타내는 NullValueField 구조 목록을 지정하는 구조입니다.
DropNullFields
변환은 Null 자리 표시자의 값과 데이터 유형이 모두 데이터와 일치하는 경우에만 사용자 지정 Null 값을 제거합니다.
NullCheckBoxList 구조
제거를 위해 특정 값을 Null 값으로 인식할지 여부를 나타냅니다.
필드
-
IsEmpty
– 부울입니다.빈 문자열이 Null 값으로 간주되도록 지정합니다.
-
IsNullString
– 부울입니다.'null'이라는 단어의 철자를 사용하는 값이 Null 값으로 간주되도록 지정합니다.
-
IsNegOne
– 부울입니다.정수 값 -1이 Null 값으로 간주되도록 지정합니다.
NullValueField 구조
0이나 데이터 집합에 고유한 Null 자리 표시자로 사용되는 다른 값과 같은 사용자 지정 Null 값을 나타냅니다.
필드
-
Value
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.Null 자리 표시자의 값입니다.
-
Datatype
– 필수(Required): 데이터 형식 객체입니다.값의 데이터 유형입니다.
데이터 형식 구조
값의 데이터 유형을 나타내는 구조입니다.
필드
-
Id
– 필수: Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.값의 데이터 유형입니다.
-
Label
– 필수: Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.데이터 유형에 할당된 레이블입니다.
병합 구조
레코드를 식별하기 위해 지정된 기본 키를 기준으로 DynamicFrame
을 스테이징 DynamicFrame
과 병합하는 변환을 지정합니다. 중복 레코드(기본 키가 동일한 레코드)는 중복 제거되지 않습니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(2개 이상)입니다.노드 이름으로 식별된 데이터 입력입니다.
-
Source
– 필수: Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.스테이징
DynamicFrame
과 병합되는 소스DynamicFrame
입니다. -
PrimaryKeys
– 필수: UTF-8 문자열의 배열입니다.소스 및 스테이징 동적 프레임의 레코드와 일치시킬 기본 키 필드 목록입니다.
결합 구조
둘 이상 데이터 집합의 행을 단일 결과로 결합하는 변환을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(2개 이상)입니다.노드 ID가 변환에 입력됩니다.
-
UnionType
– 필수: UTF-8 문자열입니다(유효한 값:ALL
|DISTINCT
).Union 변환 유형을 나타냅니다.
데이터 원본의 모든 행을 결과 DynamicFrame에 조인하려면
ALL
을 지정합니다. 결과 union 구조는 중복 행을 제거하지 않습니다.결과 DynamicFrame에서 중복 행을 제거하려면
DISTINCT
를 지정합니다.
PIIDetection 구조
PII 데이터를 식별, 제거 또는 마스킹하는 변환을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수: UTF-8 문자열의 배열(1개 이상)입니다.노드 ID가 변환에 입력됩니다.
-
PiiType
– 필수: UTF-8 문자열입니다(유효한 값:RowAudit
|RowMasking
|ColumnAudit
|ColumnMasking
).PIIDetection 변환 유형을 나타냅니다.
-
EntityTypesToDetect
– 필수: UTF-8 문자열의 배열입니다.PIIDetection 변환이 PII 데이터로 식별할 엔터티 유형을 나타냅니다.
PII 유형 엔터티는 다음을 포함합니다. PERSON_NAME, DATE, USA_SNN, EMAIL, USA_ITIN, USA_PASSPORT_NUMBER, PHONE_NUMBER, BANK_ACCOUNT, IP_ADDRESS, MAC_ADDRESS, USA_CPT_CODE, USA_HCPCS_CODE, USA_NATIONAL_DRUG_CODE, USA_MEDICARE_BENEFICIARY_IDENTIFIER, USA_HEALTH_INSURANCE_CLAIM_NUMBER,CREDIT_CARD,USA_NATIONAL_PROVIDER_IDENTIFIER,USA_DEA_NUMBER,USA_DRIVING_LICENSE
-
OutputColumnName
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.해당 행에서 감지된 모든 엔터티 유형을 포함할 출력 열 이름을 나타냅니다.
-
SampleFraction
– 1 이하의 숫자(실수)입니다.PII 엔터티를 스캔할 때 샘플링할 데이터의 비율을 나타냅니다.
-
ThresholdFraction
– 1 이하의 숫자(실수)입니다.열을 PII 데이터로 식별하기 위해 충족되어야 하는 데이터의 비율을 나타냅니다.
-
MaskValue
– Custom string pattern #56과(와) 일치하는 256바이트 이하 길이의 UTF-8 문자열입니다.감지된 개체를 대체할 값을 나타냅니다.
집계 구조
선택한 필드별로 행을 그룹화하고 지정된 함수에 의해 집계된 값을 계산하는 변환을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수: UTF-8 문자열의 배열(1개 이상)입니다.집계 변환에 대해 입력으로 사용할 필드와 행을 지정합니다.
-
Groups
– 필수: UTF-8 문자열의 배열입니다.그룹화할 필드를 지정합니다.
-
Aggs
– 필수(Required): AggregateOperation 객체의 배열이며 구조는 1~30개입니다.지정된 필드에서 수행할 집계 함수를 지정합니다.
DropDuplicates 구조
데이터세트에서 반복 데이터의 행을 제거하는 변환을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.변환 노드의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.노드 이름으로 식별된 데이터 입력입니다.
-
Columns
– UTF-8 문자열의 배열입니다.반복될 경우 병합하거나 제거할 열의 이름입니다.
GovernedCatalogTarget 구조
AWS Glue 데이터 카탈로그를 사용하여 Amazon S3에 쓰는 데이터 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 대상의 이름입니다.
-
Inputs
– 필수(Required): UTF-8 문자열의 배열(1개 이상)입니다.데이터 대상에 대한 입력인 노드입니다.
-
PartitionKeys
– UTF-8 문자열의 배열입니다.일련의 키를 사용하여 기본 분할을 지정합니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스 테이블의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.쓰기를 수행할 데이터베이스의 이름입니다.
-
SchemaChangePolicy
– CatalogSchemaChangePolicy 객체입니다.관리 카탈로그에 대한 업데이트 동작을 지정하는 정책입니다.
GovernedCatalogSource 구조
관리 AWS Glue 데이터 카탈로그의 데이터 스토어를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 스토어의 이름입니다.
-
Database
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽어야 할 데이터베이스입니다.
-
Table
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.읽어야 할 데이터베이스 테이블입니다.
-
PartitionPredicate
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.이 조건자를 충족하는 파티션이 삭제됩니다. 이러한 파티션에서 보존 기간 내에 있는 파일은 삭제되지 않습니다. 기본적으로
""
(비움)로 설정합니다. -
AdditionalOptions
– S3SourceAdditionalOptions 객체입니다.추가 연결 옵션을 지정합니다.
AggregateOperation 구조
집계 변환에서 집계를 수행하는 데 필요한 파라미터 세트를 지정합니다.
필드
-
Column
– 필수: UTF-8 문자열의 배열입니다.집계 함수가 적용될 데이터 세트의 열을 지정합니다.
-
AggFunc
– 필수(Required): UTF-8 문자열입니다(유효 값:avg
|countDistinct
|count
|first
|last
|kurtosis
|max
|min
|skewness
|stddev_samp
|stddev_pop
|sum
|sumDistinct
|var_samp
|var_pop
).적용할 집계 함수를 지정합니다.
가능한 집계 함수로는 평균 개수별, 개수, 첫 번째, 마지막, kurtosis, 최대, 최소, 왜도, stddev_samp, stddev_pop, 합계, sumDistinct, var_samp, var_pop 등이 있습니다.
GlueSchema 구조
스키마를 AWS Glue에서 결정할 수 없는 경우 사용자 정의 스키마를 지정합니다.
필드
-
Columns
– GlueStudioSchemaColumn 객체의 배열입니다.AWS Glue 스키마를 구성하는 열 정의를 지정합니다.
GlueStudioSchemaColumn 구조
AWS Glue 스키마 정의에서 단일 열을 지정합니다.
필드
-
Name
– 필수: Single-line string pattern과 일치하는 1,024바이트 이하 길이의 UTF-8 문자열입니다.AWS Glue Studio 스키마의 열 이름입니다.
-
Type
– Single-line string pattern과(와) 일치하는 131,072바이트 이하 길이의 UTF-8 문자열입니다.AWS Glue Studio 스키마의 이 열에 대한 하이브 유형입니다.
GlueStudioColumn 구조
AWS Glue Studio에서 단일 열을 지정합니다.
필드
-
Key
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.AWS Glue Studio에서 열의 키입니다.
-
FullPath
– 필수: UTF-8 문자열의 배열입니다.AWS Glue Studio에서 열의 전체 URL입니다.
-
Type
– 필수: UTF-8 문자열(유효한 값:array="ARRAY"
|bigint="BIGINT"
|bigint array="BIGINT_ARRAY"
|binary="BINARY"
|binary array="BINARY_ARRAY"
|boolean="BOOLEAN"
|boolean array="BOOLEAN_ARRAY"
|byte="BYTE"
|byte array="BYTE_ARRAY"
|char="CHAR"
|char array="CHAR_ARRAY"
|choice="CHOICE"
|choice array="CHOICE_ARRAY"
|date="DATE"
|date array="DATE_ARRAY"
|decimal="DECIMAL"
|decimal array="DECIMAL_ARRAY"
|double="DOUBLE"
|double array="DOUBLE_ARRAY"
|enum="ENUM"
|enum array="ENUM_ARRAY"
|float="FLOAT"
|float array="FLOAT_ARRAY"
|int="INT"
|int array="INT_ARRAY"
|interval="INTERVAL"
|interval array="INTERVAL_ARRAY"
|long="LONG"
|long array="LONG_ARRAY"
|object="OBJECT"
|short="SHORT"
|short array="SHORT_ARRAY"
|smallint="SMALLINT"
|smallint array="SMALLINT_ARRAY"
|string="STRING"
|string array="STRING_ARRAY"
|timestamp="TIMESTAMP"
|timestamp array="TIMESTAMP_ARRAY"
|tinyint="TINYINT"
|tinyint array="TINYINT_ARRAY"
|varchar="VARCHAR"
|varchar array="VARCHAR_ARRAY"
|null="NULL"
|unknown="UNKNOWN"
|unknown array="UNKNOWN_ARRAY"
).AWS Glue Studio에서 열의 유형입니다.
-
Children
- 구조의 배열입니다.AWS Glue Studio에서 상위 열의 하위 요소입니다.
DynamicTransform 구조
동적 변환을 수행하는 데 필요한 파라미터 세트를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.동적 변환의 이름을 지정합니다.
-
TransformName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.AWS Glue Studio 시각적 편집기에 표시되는 동적 변환의 이름을 지정합니다.
-
Inputs
– 필수: UTF-8 문자열의 배열(1개 이상)입니다.필요한 동적 변환에 대한 입력을 지정합니다.
-
Parameters
– TransformConfigParameter 객체의 배열입니다.동적 변환의 파라미터를 지정합니다.
-
FunctionName
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.동적 변환의 함수 이름을 지정합니다.
-
Path
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.동적 변환 소스 및 구성 파일의 경로를 지정합니다.
-
Version
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.이 필드는 사용되지 않으며 향후 릴리스에서 사용 중단됩니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.동적 변환에 대한 데이터 스키마를 지정합니다.
TransformConfigParameter 구조
동적 변환 구성 파일의 파라미터를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.동적 변환 구성 파일의 파라미터 이름을 지정합니다.
-
Type
– 필수: UTF-8 문자열입니다(유효한 값:str="STR"
|int="INT"
|float="FLOAT"
|complex="COMPLEX"
|bool="BOOL"
|list="LIST"
|null="NULL"
).동적 변환 구성 파일의 파라미터 유형을 지정합니다.
-
ValidationRule
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.동적 변환 구성 파일의 검증 규칙을 지정합니다.
-
ValidationMessage
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.동적 변환 구성 파일의 검증 메시지를 지정합니다.
-
Value
– UTF-8 문자열의 배열입니다.동적 변환 구성 파일의 파라미터 값을 지정합니다.
-
ListType
– UTF-8 문자열입니다(유효한 값:str="STR"
|int="INT"
|float="FLOAT"
|complex="COMPLEX"
|bool="BOOL"
|list="LIST"
|null="NULL"
).동적 변환 구성 파일의 파라미터 목록 유형을 지정합니다.
-
IsOptional
– 부울입니다.파라미터가 동적 변환 구성 파일에서 선택 사항인지 여부를 지정합니다.
EvaluateDataQuality 구조
데이터 품질 평가 기준을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 품질 평가의 이름입니다.
-
Inputs
– 필수: UTF-8 문자열의 배열(1개 이상)입니다.데이터 품질 평가의 입력입니다.
-
Ruleset
– 필수: Custom string pattern #57과(와) 일치하는 1~65536바이트 길이의 UTF-8 문자열입니다.데이터 품질 평가를 위한 규칙 세트입니다.
-
Output
– UTF-8 문자열입니다(유효한 값:PrimaryInput
|EvaluationResults
).데이터 품질 평가의 출력입니다.
-
PublishingOptions
– DQResultsPublishingOptions 객체입니다.결과 게시 방법을 구성하는 옵션입니다.
-
StopJobOnFailureOptions
– DQStopJobOnFailureOptions 객체입니다.데이터 품질 평가에 실패할 경우 작업을 중지하는 방법을 구성하는 옵션입니다.
DQResultsPublishingOptions 구조
데이터 품질 평가 결과 게시 방법을 구성하는 옵션입니다.
필드
-
EvaluationContext
– Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.평가의 컨텍스트입니다.
-
ResultsS3Prefix
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.결과 앞에 Amazon S3 접두사가 추가되었습니다.
-
CloudWatchMetricsEnabled
– 부울입니다.데이터 품질 결과에 대한 지표를 활성화합니다.
-
ResultsPublishingEnabled
– 부울입니다.데이터 품질 결과에 대한 게시를 활성화합니다.
DQStopJobOnFailureOptions 구조
데이터 품질 평가에 실패할 경우 작업을 중지하는 방법을 구성하는 옵션입니다.
필드
-
StopJobOnFailureTiming
– UTF-8 문자열입니다(유효한 값:Immediate
|AfterDataLoad
).데이터 품질 평가에 실패할 경우에 작업을 중지할 시점입니다. 옵션은 Immediate 또는 AfterDataLoad입니다.
EvaluateDataQualityMultiFrame 구조
데이터 품질 평가 기준을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.데이터 품질 평가의 이름입니다.
-
Inputs
– 필수: UTF-8 문자열의 배열이며 문자열은 1개 이상입니다.데이터 품질 평가의 입력입니다. 이 목록의 첫 번째 입력은 기본 데이터 소스입니다.
-
AdditionalDataSources
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
기본을 제외한 모든 데이터 소스의 별칭입니다.
-
Ruleset
– 필수: Custom string pattern #57과(와) 일치하는 1~65536바이트 길이의 UTF-8 문자열입니다.데이터 품질 평가를 위한 규칙 세트입니다.
-
PublishingOptions
– DQResultsPublishingOptions 객체입니다.결과 게시 방법을 구성하는 옵션입니다.
-
AdditionalOptions
– 키-값 페어의 맵 배열입니다.각 키는 UTF-8 문자열(유효 값:
performanceTuning.caching="CacheOption"
|observations.scope="ObservationsOption"
)입니다.각 값은 UTF-8 문자열입니다.
변환의 런타임 동작을 구성하는 옵션입니다.
-
StopJobOnFailureOptions
– DQStopJobOnFailureOptions 객체입니다.데이터 품질 평가에 실패할 경우 작업을 중지하는 방법을 구성하는 옵션입니다.
레시피 구조
AWS Glue 작업에서 AWS Glue DataBrew 레시피를 사용하는 AWS Glue 스튜디오 노드입니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.AWS Glue 스튜디오 노드의 이름입니다.
-
Inputs
– 필수: UTF-8 문자열의 배열(1개 이상)입니다.레시피 노드에 대한 입력에 해당하는 노드로, ID로 식별됩니다.
-
RecipeReference
– RecipeReference 객체입니다.노드에서 사용하는 DataBrew 레시피에 대한 참조입니다.
-
RecipeSteps
– RecipeStep 객체의 배열입니다.레시피 노드에서 사용되는 변환 단계.
RecipeReference 구조
레시피에 대한 AWS Glue DataBrew 참조입니다.
필드
-
RecipeArn
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.DataBrew 레시피의 ARN입니다.
-
RecipeVersion
– 필수: 1~16바이트 길이의 UTF-8 문자열입니다.DataBrew 레시피의 RecipeVersion입니다.
SnowflakeNodeData 구조
AWS Glue Studio에서 Snowflake 노드에 대한 구성을 지정합니다.
필드
-
SourceType
– Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.검색된 데이터를 지정하는 방법을 지정합니다. 유효한 값:
"table"
,"query"
. -
Connection
– 옵션 객체입니다.Snowflake 엔드포인트에 대한 AWS Glue 데이터 카탈로그 연결을 지정합니다.
-
Schema
– UTF-8 문자열입니다.노드에서 사용할 Snowflake 데이터베이스 스키마를 지정합니다.
-
Table
– UTF-8 문자열입니다.노드에서 사용할 Snowflake 테이블을 지정합니다.
-
Database
– UTF-8 문자열입니다.노드에서 사용할 Snowflake 데이터베이스를 지정합니다.
-
TempDir
– Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.현재 사용 중이지 않습니다.
-
IamRole
– 옵션 객체입니다.현재 사용 중이지 않습니다.
-
AdditionalOptions
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
각 값은 Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.
Snowflake 커넥터에 전달되는 추가 옵션을 지정합니다. 이 노드의 다른 위치에서 옵션이 지정된 경우 이 옵션이 우선합니다.
-
SampleQuery
– UTF-8 문자열입니다.query
소스 유형의 데이터를 검색하는 데 사용되는 SQL 문자열입니다. -
PreAction
– UTF-8 문자열입니다.Snowflake 커넥터가 표준 작업을 수행하기 전에 실행되는 SQL 문자열입니다.
-
PostAction
– UTF-8 문자열입니다.Snowflake 커넥터가 표준 작업을 수행한 후에 실행되는 SQL 문자열입니다.
-
Action
– UTF-8 문자열입니다.기존 데이터가 있는 테이블에 쓸 때 수행할 작업을 지정합니다. 유효한 값:
append
,merge
,truncate
,drop
. -
Upsert
– 부울입니다.append
작업일 때 사용됩니다. 행이 이미 있는 경우 확인 동작을 지정합니다. true인 경우 기존 행이 업데이트됩니다. false인 경우 해당 행이 삽입됩니다. -
MergeAction
– Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.병합 작업을 지정합니다. 유효한 값:
simple
,custom
. simple인 경우 병합 동작은MergeWhenMatched
및MergeWhenNotMatched
로 정의됩니다. custom인 경우MergeClause
로 정의됩니다. -
MergeWhenMatched
– Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.병합 시 기존 데이터와 일치하는 레코드를 확인하는 방법을 지정합니다. 유효한 값:
update
,delete
. -
MergeWhenNotMatched
– Custom string pattern #58과(와) 일치하는 UTF-8 문자열입니다.병합 시 기존 데이터와 일치하지 않는 레코드를 처리하는 방법을 지정합니다. 유효한 값:
insert
,none
. -
MergeClause
– UTF-8 문자열입니다.사용자 지정 병합 동작을 지정하는 SQL 문입니다.
-
StagingTable
– UTF-8 문자열입니다.merge
또는 업서트append
작업을 수행할 때 사용되는 스테이징 테이블의 이름입니다. 데이터가 이 테이블에 기록된 후에는 생성된 사후 작업에 의해table
로 이동됩니다. -
SelectedColumns
– 옵션 객체의 배열입니다.병합 및 업서트에서 일치하는 항목을 감지할 때 레코드를 식별하기 위해 결합된 열을 지정합니다.
value
,label
및description
키가 있는 구조 목록입니다. 각 구조는 열을 설명합니다. -
AutoPushdown
– 부울입니다.자동 쿼리 푸시다운의 활성화 여부를 지정합니다. 푸시다운이 활성화된 경우 Spark에서 쿼리를 실행할 때 쿼리의 일부를 Snowflake 서버로 '푸시다운'할 수 있으면 해당 쿼리가 푸시다운됩니다. 이렇게 하면 일부 쿼리의 성능이 향상됩니다.
-
TableSchema
– 옵션 객체의 배열입니다.노드의 대상 스키마를 수동으로 정의합니다.
value
,label
및description
키가 있는 구조 목록입니다. 각 구조는 열을 정의합니다.
SnowflakeSource 구조
Snowflake 데이터 소스를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.Snowflake 데이터 소스의 이름입니다.
-
Data
– 필수(Required): SnowflakeNodeData 객체입니다.Snowflake 데이터 소스의 구성입니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.출력 데이터에 대한 사용자 정의 스키마를 지정합니다.
SnowflakeTarget 구조
Snowflake 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.Snowflake 대상의 이름입니다.
-
Data
– 필수(Required): SnowflakeNodeData 객체입니다.Snowflake 대상 노드의 데이터를 지정합니다.
-
Inputs
– UTF-8 문자열의 배열입니다(1개의 문자열).데이터 대상에 대한 입력인 노드입니다.
ConnectorDataSource 구조
표준 연결 옵션으로 생성된 소스를 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.이 소스 노드의 이름입니다.
-
ConnectionType
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.connectionType
은 기본 AWS Glue 라이브러리에 제공된 값입니다. 노드 유형은 다음과 같은 연결 유형을 지원합니다.-
opensearch
-
azuresql
-
azurecosmos
-
bigquery
-
saphana
-
teradata
-
vertica
-
-
Data
– 필수(Required): 키-값 페어의 맵 배열입니다.각 키는 UTF-8 문자열입니다.
각 값은 UTF-8 문자열입니다.
노드에 대한 연결 옵션을 지정하는 맵입니다. AWS Glue 설명서의 연결 매개변수 섹션에서 해당 연결 유형에 대한 표준 연결 옵션을 찾을 수 있습니다.
-
OutputSchemas
– GlueSchema 객체의 배열입니다.이 소스에 대한 데이터 스키마를 지정합니다.
ConnectorDataTarget 구조
표준 연결 옵션으로 생성된 대상을 지정합니다.
필드
-
Name
– 필수: Custom string pattern #61과(와) 일치하는 UTF-8 문자열입니다.이 대상 노드의 이름입니다.
-
ConnectionType
– 필수: Custom string pattern #59과(와) 일치하는 UTF-8 문자열입니다.connectionType
은 기본 AWS Glue 라이브러리에 제공된 값입니다. 노드 유형은 다음과 같은 연결 유형을 지원합니다.-
opensearch
-
azuresql
-
azurecosmos
-
bigquery
-
saphana
-
teradata
-
vertica
-
-
Data
– 필수(Required): 키-값 페어의 맵 배열입니다.각 키는 UTF-8 문자열입니다.
각 값은 UTF-8 문자열입니다.
노드에 대한 연결 옵션을 지정하는 맵입니다. AWS Glue 설명서의 연결 매개변수 섹션에서 해당 연결 유형에 대한 표준 연결 옵션을 찾을 수 있습니다.
-
Inputs
– UTF-8 문자열의 배열입니다(1개의 문자열).데이터 대상에 대한 입력인 노드입니다.
RecipeStep 구조
AWS Glue Studio 데이터 준비 레시피 노드에서 사용되는 레시피 단계.
필드
-
Action
– 필수: RecipeAction 객체입니다.레시피 단계의 변환 작업.
-
ConditionExpressions
– ConditionExpression 객체의 배열입니다.레시피 단계에 대한 조건 표현식.
RecipeAction 구조
AWS Glue Studio 데이터 준비 레시피 노드에 정의된 작업.
필드
-
Operation
– 필수(Required): Custom string pattern #54과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.레시피 작업.
-
Parameters
– 키-값 페어의 맵 배열입니다.각 키는 Custom string pattern #55과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.
각 값은 길이가 1~32,768바이트인 UTF-8 문자열입니다.
레시피 작업의 파라미터.
ConditionExpression 구조
AWS Glue Studio 데이터 준비 레시피 노드에 정의된 조건 표현식.
필드
-
Condition
– 필수(Required): Custom string pattern #54과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.조건 표현식의 조건.
-
Value
– UTF-8 문자열(1,024바이트 이하).조건 표현식의 값.
-
TargetColumn
– 필수: 1~1,024바이트 길이의 UTF-8 문자열입니다.조건 표현식의 대상 열.