Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。
本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
開始使用阿帕奇 Flink 的 Amazon 託管服務 () DataStream API
本節將向您介紹 Apache Flink 受管理服務的基本概念,以及使用 DataStream API. 它描述了建立和測試應用程式的可用選項。此外,它還提供了相關指示,以協助您安裝完成本指南教學課程以及建立您的第一個應用程式所需要的工具。
主題
檢閱適用於 Apache Flink 應用程式的受管理服務元件
注意
阿帕奇 Flink 的 Amazon 託管服務支持所有 Apache Flink APIs 和潛在的所有JVM語言。如需詳細資訊,請參閱 Flink 的APIs
視API您選擇的項目而定,應用程式的結構和實作會稍有不同。本入門教學課程涵蓋了 DataStream API在 Java 中使用的應用程式的實作。
為了處理資料,Apache Flink 應用程式的受管理服務會使用 Java 應用程式,該應用程式會使用 Apache Flink 執行階段處理輸入並產生輸出。
Apache Flink 應用程序的典型託管服務具有以下組件:
-
執行階段屬性:您可以使用執行階段屬性,將組態參數傳遞至應用程式,以變更它們,而不需要修改和重新發佈程式碼。
-
來源:應用程序消耗來自一個或多個來源的數據。來源會使用連接器
從外部系統讀取資料,例如 Kinesis 資料串流或 Kafka 值區。如需詳細資訊,請參閱將串流資料來源新增至 Apache Flink 的受管理服務。 -
運算子:應用程式會使用一或多個運算子來處理資料。運算子可以轉換、富集或彙總資料。如需詳細資訊,請參閱在 Apache Flink 的受管理服務中使用運算子轉換資料。
-
接收器:應用程序通過接收器將數據發送到外部源。接收器使用連接器
v 將資料傳送到 Kinesis 資料串流、卡夫卡主題、Amazon S3 或關聯式資料庫。您也可以使用特殊的連接器列印輸出,僅用於開發目的。如需詳細資訊,請參閱在 Apache Flink 的受管理服務中使用接收器寫入資料。
您的應用程式需要一些外部相依性,例如應用程式使用的 Flink 連接器,或可能是 Java 程式庫。若要在適用於 Apache Flink 的亞馬遜受管服務中執行,必須將應用程式與相依性一起封裝在 fat-jar 中,然後上傳到 Amazon S3 儲存貯體。然後建立 Managed Service for Apache Flink 應用程式。您可以傳遞程式碼套件的位置,以及任何其他執行階段設定參數。
本教程演示如何使用 Apache Maven 來打包應用程序,以及如何在您選擇IDE的本地運行應用程序。
滿足完成練習的先決條件
若要完成本指南中的步驟,您必須執行下列各項:
-
Git 用戶端
。如果您尚未安裝 Git 用戶端,請安裝。 -
Java 開發工具包(JDK)版本 11
. 安裝 Java JDK 11 並將 JAVA_HOME
環境變數設定為指向您的JDK安裝位置。如果你沒有一個 JDK 11, 你可以使用 Amazon Coretto 11 或您選擇JDK的任何其他標準.-
若要確認您已正確JDK安裝,請執行下列命令。如果您使用的是 Amazon Corretto 以外的JDK輸出將有所不同。確保該版本是 11.x。
$ java --version openjdk 11.0.23 2024-04-16 LTS OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS) OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)
-
-
Apache Maven
。如果你還沒有安裝阿帕奇 Maven 的。要了解如何安裝它,請參閱安裝阿帕奇 Maven 的。 -
若要測試您的 Apache Maven 安裝,輸入以下資訊:
$ mvn -version
-
-
IDE用於當地發展。我們建議您使用 Eclipse Java 霓虹燈
或 IntelliJ 等開發環境IDEA來開發和編譯您的應用程式。 -
若要測試您的 Apache Maven 安裝,輸入以下資訊:
$ mvn -version
-
開始執行,請移至 設定 AWS 帳戶並建立管理員使用者。