Managed Service for Apache Flink의 Python 예제 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려졌습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Managed Service for Apache Flink의 Python 예제

다음 예제에서는 Python으로 작성된 애플리케이션을 생성하는 방법을 보여줍니다.

참고

대부분의 예제는 로컬, 개발 머신 및 IDE 선택한 , Amazon Managed Service for Apache Flink에서 모두 실행되도록 설계되었습니다. 애플리케이션 파라미터를 전달하는 데 사용할 수 있는 간단한 메커니즘과 변경 없이 두 환경에서 애플리케이션을 실행하도록 종속성을 올바르게 설정하는 방법을 보여줍니다.

프로젝트 종속성

대부분의 PyFlink 예제에서는 Flink 커넥터와 같은 JAR 파일 형식의 종속성을 하나 이상 요구합니다. 그런 다음 Amazon Managed Service for Apache Flink에 배포할 때 이러한 종속성을 애플리케이션과 함께 패키징해야 합니다.

다음 예제에는 개발 및 테스트를 위해 애플리케이션을 로컬에서 실행하고 필요한 종속 항목을 올바르게 패키징할 수 있는 도구가 이미 포함되어 있습니다. 이 도구를 사용하려면 Java JDK11 및 Apache Maven을 사용해야 합니다. 특정 지침은 각 예제에 README 포함된 를 참조하세요.

예제

이 예제에서는 Pyton 코드에 SQL 내장된 를 사용하는 PyFlink 애플리케이션의 기본 구조를 보여줍니다. 또한 이 프로젝트는 커넥터와 같은 JAR 종속성을 포함하는 모든 PyFlink 애플리케이션에 대한 스켈레톤을 제공합니다. 이 README 섹션에서는 개발을 위해 로컬에서 Python 애플리케이션을 실행하는 방법에 대한 자세한 지침을 제공합니다. 이 예제에서는 애플리케이션에 단일 JAR 종속성인 이 예제 PyFlink의 Kinesis SQL 커넥터를 포함하는 방법도 보여줍니다.

코드 예제: GettingStarted

이 예제에서는 가장 일반적인 방식으로 PyFlink 애플리케이션에 Python 종속성을 추가하는 방법을 보여줍니다. 이 방법은 Boto3와 같은 간단한 종속성 또는 와 같은 C 라이브러리가 포함된 복잡한 종속성에 작동합니다 PyArrow.

코드 예제: PythonDependencies

이 예제에서는 Python 애플리케이션에 SQL 내장된 에 윈도우링 집계의 네 가지 유형을 보여줍니다.

  1. 처리 시간에 따른 슬라이딩 창

  2. 이벤트 시간을 기반으로 한 슬라이딩 창

  3. 처리 시간을 기준으로 창 텀블링

  4. 이벤트 시간을 기준으로 창 텀블링

코드 예제: 윈도우 설정

이 예제는 Python 애플리케이션에 SQL 내장된 를 사용하여 Amazon S3에 출력을 JSON 파일로 쓰는 방법을 보여줍니다. S3 싱크가 Amazon S3에 파일을 쓰고 교체하려면 체크포인트를 활성화해야 합니다.

코드 예제: S3Sink

이 예제에서는 사용자 정의 Funtion을 정의하고, Python에서 구현하고, Python 애플리케이션에서 실행되는 SQL 코드에 사용하는 방법을 보여줍니다.

코드 예제: UDF

이 예제에서는 를 사용하여 Amazon Data Firehose로 데이터를 전송하는 방법을 보여줍니다SQL.

코드 예제: FirehoseSink