테이블 속성 - Managed Service for Apache Flink
Apache Flink 시간 값 정의Flink 커넥터 및 형식 속성 사용

Amazon Managed Service for Apache Flink는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려졌습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

테이블 속성

AWS Glue 테이블은 데이터 필드 외에도 테이블 속성을 사용하여 Studio 노트북에 기타 정보를 제공합니다. Managed Service for Apache Flink는 다음 AWS Glue 테이블 속성을 사용합니다.

AWS Glue 테이블에 속성을 추가하려면 다음을 수행합니다.

  1. 에 로그인 AWS Management Console 하고 에서 AWS Glue 콘솔을 엽니다https://console.aws.amazon.com/glue/.

  2. 테이블 목록에서 애플리케이션이 데이터 연결 정보를 저장하는 데 사용하는 테이블을 선택합니다. 작업, 테이블 세부 정보 편집을 선택합니다.

  3. 테이블 속성에서 managed-flink.proctime 키와 user_action_time 값을 입력합니다.

Apache Flink 시간 값 정의

Apache Flink는 처리 시간 및 이벤트 시간과 같은 스트림 처리 이벤트가 발생한 시간 값을 제공합니다. 애플리케이션 출력에 이러한 값을 포함하려면 Managed Service for Apache Flink 런타임에 이러한 값을 지정된 필드로 내보내도록 지시하는 속성을 AWS Glue 테이블에 정의합니다.

테이블 속성에서 사용하는 키와 값은 다음과 같습니다.

타임스탬프 유형 키 값
처리 시간 managed-flink.proctime 값을 노출하는 데 AWS Glue 사용할 열 이름입니다. 이 열 이름은 기존 테이블 열과 일치하지 않습니다.
이벤트 시간 managed-flink.rowtime 값을 노출하는 데 AWS Glue 사용할 열 이름입니다. 이 열 이름은 기존 테이블 열에 해당합니다.

managed-flink.watermark입니다.column_name.밀리초

 밀리초 단위의 워터마크 간격

Flink 커넥터 및 형식 속성 사용

AWS Glue 테이블 속성을 사용하여 애플리케이션의 Flink 커넥터에 데이터 소스에 대한 정보를 제공합니다. Managed Service for Apache Flink에서 커넥터에 사용하는 속성의 몇 가지 예는 다음과 같습니다.

커넥터 유형 키 값
Kafka format json 또는 와 같은 Kafka 메시지를 역직렬화하고 직렬화하는 데 사용되는 형식입니다csv.
scan.startup.mode Kafka 소비자의 시작 모드. 예: earliest-offset 또는 . timestamp
키네시스 format Kinesis 데이터 스트림 레코드를 역직렬화하고 직렬화하는 데 사용되는 형식입니다. 예: json 또는 csv.
aws.region 스트림이 정의된 AWS 리전입니다.
S3(파일 시스템) 형식 json 또는 와 같은 파일을 역직렬화하고 직렬화하는 데 사용되는 형식입니다csv.
path Amazon S3 경로, 예: . s3://mybucket/

Kinesis 및 Apache Kafka 이외의 다른 커넥터에 대한 자세한 내용은 커넥터의 설명서를 참조하세요.