開始使用 Amazon Managed Service for Apache Flink (DataStream API) - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

開始使用 Amazon Managed Service for Apache Flink (DataStream API)

本節向您介紹 Managed Service for Apache Flink 的基本概念,以及使用 在 Java 中實作應用程式 DataStream API。它描述了建立和測試應用程式的可用選項。此外,它還提供了相關指示,以協助您安裝完成本指南教學課程以及建立您的第一個應用程式所需要的工具。

檢閱 Managed Service for Apache Flink 應用程式的元件

注意

Amazon Managed Service for Apache Flink 支援所有 Apache Flink APIs和可能的所有JVM語言。如需詳細資訊,請參閱 Flink 的 APIs

根據API您選擇的 ,應用程式結構和實作略有不同。本入門教學課程涵蓋在 Java 中使用 DataStream API的應用程式實作。

為了處理資料,您的 Managed Service for Apache Flink 應用程式使用 Java 應用程式,該應用程式會處理輸入並使用 Apache Flink 執行時間產生輸出。

典型的 Managed Service for Apache Flink 應用程式具有下列元件:

  • 執行期屬性:您可以使用執行期屬性將組態參數傳遞至應用程式,以變更這些參數,而無需修改並重新發佈程式碼。

  • 來源:應用程式會耗用來自一或多個來源 的資料。來源使用連接器從外部系統讀取資料,例如 Kinesis 資料串流或 Kafka 儲存貯體。如需詳細資訊,請參閱新增串流資料來源

  • 運算子:應用程式會使用一或多個運算子來處理資料。運算子可以轉換、富集或彙總資料。如需詳細資訊,請參閱運算子

  • 接收端:應用程式會透過接收端 將資料傳送至外部來源。接收端使用連接器 v 將資料傳送至 Kinesis 資料串流、Kafka 主題、Amazon S3 或關聯式資料庫。您也可以使用特殊連接器來列印輸出,僅用於開發目的。如需詳細資訊,請參閱使用接收器寫入資料

您的應用程式需要一些外部相依性 ,例如應用程式使用的 Flink 連接器,或可能為 Java 程式庫。若要在 Amazon Managed Service for Apache Flink 中執行,應用程式必須與相依性一起封裝在 fat-jar 中,並上傳至 Amazon S3 儲存貯體。然後建立 Managed Service for Apache Flink 應用程式。您可以傳遞程式碼套件的位置,以及任何其他執行期組態參數。

本教學課程示範如何使用 Apache Maven 包裝應用程式,以及如何IDE在您選擇的 中於本機執行應用程式。

滿足完成練習的先決條件

若要完成本指南中的步驟,您必須執行下列各項:

  • Git 用戶端。如果您尚未安裝 Git 用戶端。

  • Java 開發套件 (JDK) 第 11 版。 安裝 Java JDK 11,並將JAVA_HOME環境變數設定為指向您的JDK安裝位置。如果您沒有 JDK 11,您可以使用 Amazon Coretto 11 或JDK您選擇的任何其他標準。

    • 若要驗證是否已正確JDK安裝 ,請執行下列命令。如果您使用的是 Amazon Corretto JDK以外的 ,輸出會有所不同。請確定版本為 11.x。

      $ java --version openjdk 11.0.23 2024-04-16 LTS OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS) OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)
  • Apache Maven。如果您尚未安裝 Apache Maven。若要了解如何安裝,請參閱安裝 Apache Maven。

    • 若要測試您的 Apache Maven 安裝,輸入以下資訊:

    $ mvn -version
  • IDE 用於本機開發。我們建議您使用 Eclipse Java NeonIntelliJ IDEA 等開發環境來開發和編譯應用程式。

    • 若要測試您的 Apache Maven 安裝,輸入以下資訊:

    $ mvn -version

開始執行,請移至 設定 AWS 帳戶並建立管理員使用者