Managed Service for Apache Flink: 작동 방식 - Managed Service for Apache Flink
Apache Flink 애플리케이션 프로그래밍Managed Service for Apache Flink 애플리케이션 생성

Amazon Managed Service for Apache Flink는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려졌습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Managed Service for Apache Flink: 작동 방식

Managed Service for Apache Flink는 Apache Flink 애플리케이션을 사용하여 스트리밍 데이터를 처리할 수 있는 완전 관리형 Amazon 서비스입니다. 먼저 Apache Flink 애플리케이션을 프로그래밍한 다음 Managed Service for Apache Flink 애플리케이션을 생성합니다.

Apache Flink 애플리케이션 프로그래밍

Apache Flink 애플리케이션은 Apache Flink 프레임워크를 사용하여 만든 Java 또는 Scala 애플리케이션입니다. 로컬에서 Apache Flink 애플리케이션을 작성하고 빌드합니다.

애플리케이션은 주로 DataStream API 또는 테이블을 API사용합니다. 다른 Apache FlinkAPIs도 사용할 수 있지만 스트리밍 애플리케이션을 구축하는 데 덜 일반적으로 사용됩니다.

이 두 가지의 기능은 다음과 APIs 같습니다.

DataStream API

Apache Flink DataStream API 프로그래밍 모델은 두 가지 구성 요소를 기반으로 합니다.

  • 데이터 스트림: 연속적인 데이터 레코드 흐름을 구조적으로 표현한 것입니다.

  • 변환 연산자: 하나 이상의 데이터 스트림을 입력으로 받아 하나 이상의 데이터 스트림을 출력으로 생성합니다.

로 생성된 애플리케이션은 DataStream API 다음을 수행합니다.

  • 데이터 소스(예: Kinesis 스트림 또는 Amazon MSK 주제)에서 데이터를 읽습니다.

  • 필터링, 집계 또는 보강과 같은 변환을 데이터에 적용합니다.

  • 변환된 데이터를 Data Sink에 씁니다.

를 DataStream API 사용하는 애플리케이션은 Java 또는 Scala로 작성할 수 있으며 Kinesis 데이터 스트림, Amazon MSK 주제 또는 사용자 지정 소스에서 읽을 수 있습니다.

애플리케이션은 커넥터를 사용하여 데이터를 처리합니다. Apache Flink는 다음 유형의 커넥터를 사용합니다.

  • 소스: 외부 데이터를 읽는 데 사용되는 커넥터입니다.

  • 싱크: 외부 위치에 쓰는 데 사용되는 커넥터입니다.

  • 오퍼레이터: 애플리케이션 내에서 데이터를 처리하는 데 사용되는 커넥터입니다.

일반적인 애플리케이션은 소스가 있는 하나 이상의 데이터 스트림, 하나 이상의 연산자가 있는 데이터 스트림, 하나 이상의 데이터 싱크로 구성됩니다.

사용에 대한 자세한 내용은 섹션을 DataStream API참조하세요 DataStream API구성 요소 검토.

테이블 API

Apache Flink 테이블 API 프로그래밍 모델은 다음 구성 요소를 기반으로 합니다.

  • 테이블 환경: 하나 이상의 테이블을 만들고 호스팅하는 데 사용하는 기본 데이터에 대한 인터페이스입니다.

  • 테이블: SQL 테이블 또는 뷰에 대한 액세스를 제공하는 객체입니다.

  • 테이블 소스: Amazon MSK 주제와 같은 외부 소스에서 데이터를 읽는 데 사용됩니다.

  • 테이블 함수: 데이터를 변환하는 데 사용되는 SQL 쿼리 또는 API 호출입니다.

  • 테이블 싱크: Amazon S3 버킷과 같은 외부 위치에 데이터를 쓰는 데 사용됩니다.

테이블로 생성된 애플리케이션은 다음을 API 수행합니다.

  • Table Source에 연결하여 TableEnvironment을(를) 생성합니다.

  • SQL 쿼리 또는 테이블 API 함수를 TableEnvironment 사용하여 에서 테이블을 생성합니다.

  • 테이블 API 또는 를 사용하여 테이블에서 쿼리 실행 SQL

  • 테이블 함수 또는 쿼리를 사용하여 SQL 쿼리 결과에 변환을 적용합니다.

  • 쿼리 또는 함수 결과를 Table Sink에 씁니다.

테이블을 사용하는 애플리케이션은 Java 또는 Scala로 작성할 API 수 있으며 API 호출 또는 쿼리를 사용하여 데이터를 SQL 쿼리할 수 있습니다.

테이블 사용에 대한 자세한 내용은 섹션을 API참조하세요테이블 API 구성 요소 검토.

Managed Service for Apache Flink 애플리케이션 생성

Managed Service for Apache Flink는 Apache Flink 애플리케이션을 호스팅하기 위한 환경을 생성하고 다음 설정을 제공하는 AWS 서비스입니다.

콘솔이나 AWS CLI를 사용하여 Managed Service for Apache Flink 애플리케이션을 생성합니다. Managed Service for Apache Flink 애플리케이션 생성을 시작하려면 자습서: Managed Service for Apache Flink에서 사용 DataStream API 시작하기 을 참조하세요.