Managed Service for Apache Flink の Python の例 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Managed Service for Apache Flink の Python の例

次の例は、Python で記述されたアプリケーションを作成する方法を示しています。

注記

ほとんどの例は、ローカル、開発マシン、IDE任意の 、Amazon Managed Service for Apache Flink の両方で実行されるように設計されています。これらは、アプリケーションパラメータを渡すために使用できるシンプルなメカニズムと、両方の環境でアプリケーションを実行するための依存関係を正しく設定する方法を示しています。

プロジェクトの依存関係

ほとんどの PyFlink 例では、Flink コネクタなど、JARファイルの形式で 1 つ以上の依存関係が必要です。これらの依存関係は、Amazon Managed Service for Apache Flink にデプロイされたときにアプリケーションにパッケージ化する必要があります。

次の例には既に、開発とテストのためにアプリケーションをローカルで実行し、必要な依存関係を正しくパッケージ化できるツールが含まれています。このツールでは、Java JDK11と Apache Maven を使用する必要があります。具体的な手順については、各例READMEの を参照してください。

例

この例では、Pyton コードにSQL埋め込まれた を使用する PyFlink アプリケーションの基本構造を示しています。このプロジェクトは、コネクタなどのJAR依存関係を含む PyFlink アプリケーション用のスケルトンも提供します。このセクションではREADME、開発のために Python アプリケーションをローカルで実行する方法に関する詳細なガイダンスを提供します。この例では、この例の Kinesis SQL コネクタである 1 つのJAR依存関係をアプリケーションに含める方法も示しています PyFlink。

コード例: GettingStarted

この例では、Python の依存関係を最も一般的な方法で PyFlink アプリケーションに追加する方法を示しています。このメソッドは、Boto3 などの単純な依存関係や、 などの C ライブラリを含む複雑な依存関係に対して機能します PyArrow。

コードの例: PythonDependencies

この例では、Python アプリケーションにSQL埋め込まれた の 4 つのタイプのウィンドウ集約を示しています。

  1. 処理時間に基づくスライディングウィンドウ

  2. イベント時間に基づくスライディングウィンドウ

  3. 処理時間に基づくタンブリングウィンドウ

  4. イベント時間に基づくタンブリングウィンドウ

コード例: ウィンドウ処理

この例では、Python アプリケーションにSQL埋め込まれた を使用して Amazon S3 に出力をJSONファイルとして書き込む方法を示しています。Amazon S3 にファイルを書き込んでローテーションするには、SAmazon S3シンクのチェックポイントを有効にする必要があります。

コード例: S3Sink

この例では、ユーザー定義ファクションを定義し、Python で実装し、Python アプリケーションで実行されるSQLコードで使用する方法を示します。

コード例: UDF

この例では、 を使用して Amazon Data Firehose にデータを送信する方法を示していますSQL。

コードの例: FirehoseSink