테이블 속성 - Managed Service for Apache Flink
아파치 플링크 시간 값 정의Flink 커넥터 사용 및 서식 속성

Amazon Managed Service for Apache Flink는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려졌습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

테이블 속성

AWS Glue 테이블은 데이터 필드 외에도 테이블 속성을 사용하여 Studio Notebook에 기타 정보를 제공합니다. Apache Flink용 관리형 서비스는 다음과 같은 AWS Glue 테이블 속성을 사용합니다.

AWS Glue 테이블에 속성을 추가하려면 다음과 같이 하세요.

  1. 에 AWS Management Console 로그인하고 에서 AWS Glue 콘솔을 엽니다 https://console.aws.amazon.com/glue/.

  2. 테이블 목록에서 애플리케이션이 데이터 연결 정보를 저장하는 데 사용하는 테이블을 선택합니다. 작업, 테이블 세부 정보 편집을 선택합니다.

  3. 테이블 속성에서 managed-flink.proctime 키와 user_action_time 값을 입력합니다.

아파치 플링크 시간 값을 정의합니다.

Apache Flink는 처리 시간 및 이벤트 시간과 같은 스트림 처리 이벤트가 발생한 시간 값을 제공합니다. 애플리케이션 출력에 이러한 값을 포함하려면 Apache Flink용 관리 서비스 런타임에 이러한 값을 지정된 필드로 내보내도록 지시하는 속성을 AWS Glue 테이블에서 정의합니다.

테이블 속성에서 사용하는 키와 값은 다음과 같습니다.

타임스탬프 유형 키 값
처리 시간 매니지드 플링크.proctime 값을 노출하는 AWS Glue 데 사용할 열 이름. 이 열 이름은 기존 테이블 열과 일치하지 않습니다.
이벤트 시간 매니지드 플링크. 로우타임 값을 노출하는 데 사용할 열 이름. AWS Glue 이 열 이름은 기존 테이블 열에 해당합니다.

매니지드 플링크. 워터마크.column_name.밀리초

 워터마크 간격 (밀리초)

Flink 커넥터 사용 및 속성 서식 지정

AWS Glue 테이블 속성을 사용하여 애플리케이션의 Flink 커넥터에 데이터 소스에 대한 정보를 제공합니다. Managed Service for Apache Flink에서 커넥터에 사용하는 속성의 몇 가지 예는 다음과 같습니다.

커넥터 유형 키 값
카프카 format Kafka 메시지를 역직렬화하고 직렬화하는 데 사용되는 형식 (예: 또는 json csv
scan.startup.mode Kafka 소비자를 위한 시작 모드 (예: 또는. earliest-offset timestamp
Kinesis format Kinesis 데이터 스트림 레코드를 역직렬화하고 직렬화하는 데 사용되는 형식 (예: 또는 json csv
aws.region 스트림이 AWS 정의된 지역.
S3 (파일 시스템) 형식 파일을 역직렬화하고 직렬화하는 데 사용되는 형식 (예: 또는 json csv
path Amazon S3 경로, 예s3://mybucket/.

Kinesis 및 Apache Kafka 이외의 다른 커넥터에 대한 자세한 내용은 커넥터의 설명서를 참조하세요.