Managed Service for Apache Flink: 仕組み - Managed Service for Apache Flink
Apache Flink アプリケーションをプログラムするManaged Service for Apache Flink アプリケーションを作成する

Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Managed Service for Apache Flink: 仕組み

Managed Service for Apache Flink は、Apache Flink アプリケーションを使用してストリーミングデータを処理できるフルマネージドの Amazon サービスです。まず、Apache Flink アプリケーションをプログラムし、Managed Service for Apache Flink アプリケーションを作成します。

Apache Flink アプリケーションをプログラムする

Apache Flink アプリケーションは、Apache Flink フレームワークを使用して作成された Java または Scala アプリケーションです。Apache Flink アプリケーションはローカルで作成してビルドします。

アプリケーションは主に DataStream APIまたは テーブル APIを使用します。もう 1 つの Apache Flink APIsも利用できますが、ストリーミングアプリケーションの構築にはあまり使用されません。

この 2 つの機能APIsは次のとおりです。

DataStream API

Apache Flink DataStream API プログラミングモデルは、次の 2 つのコンポーネントに基づいています。

  • 「データストリーム:」データレコードの連続フローを構造化して表現したものです。

  • 「変換演算子:」1 つ以上のデータストリームを入力として受け取り、1 つ以上のデータストリームを出力として生成します。

を使用して DataStream API作成されたアプリケーションは、以下を実行します。

  • データソース (Kinesis ストリームや Amazon MSKトピックなど) からデータを読み取ります。

  • フィルタリング、集約、エンリッチメントなどの変換をデータに適用します。

  • 変換したデータをデータシンクに書き込みます。

を使用する DataStream APIアプリケーションは、Java または Scala で記述でき、Kinesis データストリーム、Amazon MSKトピック、またはカスタムソースから読み取ることができます。

アプリケーションは「コネクタ」を使用してデータを処理します。Apache Flink は、次のタイプのコネクタを使用しています。

  • 「ソース」:外部データの読み取りに使用されるコネクター。

  • 「シンク」:外部への書き込みに使用されるコネクター。

  • 「オペレータ」:アプリケーション内のデータを処理するために使用されるコネクタ。

一般的なアプリケーションは、ソース付きの少なくとも 1 つのデータストリーム、1 つ以上のオペレータを含むデータストリーム、および少なくとも 1 つのデータシンクで構成されます。

の使用の詳細については DataStream API、「」を参照してくださいコンポーネントを確認する DataStream API 。

テーブル API

Apache Flink Table APIプログラミングモデルは、次のコンポーネントに基づいています。

  • 「テーブル環境:」1 つ以上のテーブルを作成およびホストするために使用する基礎データへのインターフェースです。

  • テーブル： SQLテーブルまたはビューへのアクセスを提供するオブジェクト。

  • テーブルソース： Amazon MSKトピックなどの外部ソースからデータを読み取るために使用されます。

  • テーブル関数： データの変換に使用されるSQLクエリまたはAPI呼び出し。

  • 「テーブルシンク:」Amazon S3 バケットなどの外部の場所にデータを書き込むために使用されます。

テーブルで作成されたアプリケーションは、次のAPI操作を行います。

  • Table Source に接続して TableEnvironment を作成します。

  • SQL クエリまたはテーブルAPI関数TableEnvironmentを使用して、 にテーブルを作成します。

  • テーブルAPIまたは を使用してテーブルでクエリを実行する SQL

  • Table Functions または クエリを使用して、SQLクエリの結果に変換を適用します。

  • クエリまたは関数の結果を Table Sink に書き込みます。

テーブルを使用するアプリケーションは API Java または Scala で記述でき、API呼び出しまたはクエリを使用してデータをSQLクエリできます。

テーブルの使用の詳細についてはAPI、「」を参照してくださいテーブルAPIコンポーネントを確認する。

Managed Service for Apache Flink アプリケーションを作成する

Managed Service for Apache Flink は、Apache Flink アプリケーションをホストするための環境を作成し、次の設定を提供する AWS サービスです。

Apache Flink アプリケーション用 Managed Serviceは、コンソールまたは AWS CLIを使用して作成します。Apache Flink 用 Managed Serviceの作成を開始するには、 チュートリアル: Managed Service for Apache Flink で の使用 DataStream APIを開始する を参照してください。