Amazon Managed Service for Apache Flink の使用を開始する (DataStream API） - Managed Service for Apache Flink
アプリケーションコンポーネントを確認する必要な前提条件を満たす

Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Managed Service for Apache Flink の使用を開始する (DataStream API）

このセクションでは、Managed Service for Apache Flink の基本概念と、 を使用して Java にアプリケーションを実装する方法について説明します DataStream API。アプリケーションの作成とテストに使用できるオプションについて説明します。また、このガイドのチュートリアルを完了し、初めてアプリケーションを作成するのに必要なツールのインストール方法についても説明します。

トピック

Managed Service for Apache Flink アプリケーションのコンポーネントを確認する

注記

Amazon Managed Service for Apache Flink は、すべての Apache Flink APIsと、場合によってはすべてのJVM言語をサポートしています。詳細については、「Flink の APIs」を参照してください。

API 選択した によって、アプリケーションの構造と実装が若干異なります。この入門チュートリアルでは、Java での を使用した DataStream APIアプリケーションの実装について説明します。

データを処理するために、Managed Service for Apache Flink アプリケーションは、入力を処理し、Apache Flink ランタイムを使用して出力を生成する Java アプリケーションを使用します。

一般的な Managed Service for Apache Flink アプリケーションには、次のコンポーネントがあります。

  • ランタイムプロパティ： ランタイムプロパティを使用して、コードを変更したり再発行したりすることなく、設定パラメータをアプリケーションに渡して変更できます。

  • ソース： アプリケーションは 1 つ以上のソース からのデータを消費します。ソースはコネクタを使用して、Kinesis データストリームや Kafka バケットなどの外部システムからデータを読み込みます。詳細については、「Managed Service for Apache Flink にストリーミングデータソースを追加する」を参照してください。

  • 「オペレータ:」アプリケーションは 1 つ以上の「オペレータ」を使用してデータを処理します。オペレータはデータを変換、強化、または集約できます。詳細については、「Managed Service for Apache Flink の演算子を使用したデータの変換」を参照してください。

  • シンク： アプリケーションはシンク を介して外部ソースにデータを送信します。シンクはコネクタ v を使用して、Kinesis データストリーム、Kafka トピック、Amazon S3、またはリレーショナルデータベースにデータを送信します。開発のみを目的として出力を印刷するには、特別なコネクタを使用することもできます。詳細については、「Managed Service for Apache Flink でシンクを使用してデータを書き込む」を参照してください。

アプリケーションには、アプリケーションが使用する Flink コネクタや Java ライブラリなど、外部依存関係 が必要です。Amazon Managed Service for Apache Flink で を実行するには、アプリケーションを依存関係とともに fat-jar にパッケージ化し、Amazon S3 バケットにアップロードする必要があります。次に、Apache Flink アプリケーション用 Managed Serviceを作成します。コードパッケージの場所を、他のランタイム設定パラメータとともに渡します。

このチュートリアルでは、Apache Maven を使用してアプリケーションをパッケージ化する方法と、IDE選択した でアプリケーションをローカルで実行する方法について説明します。

演習を完了するための前提条件を満たす

このガイドの手順を完了するには、以下が必要です。

  • Git クライアント。まだ Git クライアントをインストールしていない場合は、インストールします。

  • Java Development Kit (JDK) バージョン 11 。Java 11 JDK をインストールし、JDKインストール場所を指すようにJAVA_HOME環境変数を設定します。JDK 11 がない場合は、Amazon Coretto 11 または他のJDK任意の標準を使用できます。

    • が正しくJDKインストールされていることを確認するには、次のコマンドを実行します。Amazon Corretto JDK以外の を使用している場合、出力は異なります。バージョンが 11.x であることを確認します。

      $ java --version

openjdk 11.0.23 2024-04-16 LTS
OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

  • Apache Maven。まだインストールしていない場合は、Apache Maven をインストールします。インストール方法については、「Apache Maven のインストール」を参照してください。

    • Apache Maven のインストールをテストするには、次のように入力します。

    $ mvn -version

  • IDE ローカル開発用。Eclipse Java Neon や IntelliJ IDEA などの開発環境を使用して、アプリケーションを開発およびコンパイルすることをお勧めします。

    • Apache Maven のインストールをテストするには、次のように入力します。

    $ mvn -version

開始するには、AWS アカウントを設定し、管理者ユーザーを作成するに進みます。