阿帕奇 Flink 的託管服務:它是如何工作的 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

阿帕奇 Flink 的託管服務:它是如何工作的

適用於 Apache Flink 的受管服務是一項全受管的 Amazon 服務,可讓您使用 Apache Flink 應用程式來處理串流資料。首先,您編程您的 Apache Flink 應用程序,然後創建 Apache Flink 應用程序的託管服務。

編程您的阿帕奇 Flink 應用程序

Apache Flink 應用程式是使用 Apache Flink 框架建立的 Java 或 Scala 應用程式。您可以在本機編寫並建置 Apache Flink 應用程式。

應用程式主要使用DataStream API表格API。另一個 Apache Flink APIs 也可供您使用,但它們在構建流應用程序時不常用。

兩者的特點APIs如下:

DataStream API

阿帕奇 Flink DataStream API 編程模型是基於兩個組成部分:

  • 資料串流:資料記錄之連續資料流的結構化表示。

  • 轉換運算子:接受一或多個資料串流作為輸入,並產生一或多個資料串流作為輸出。

使用建立的應用程式 DataStream API請執行下列動作:

  • 從資料來源讀取資料 (例如 Kinesis 串流或 Amazon MSK 主題)。

  • 將轉換套用至資料,例如篩選、彙總或富集。

  • 將轉換後的資料寫入資料接收器。

使用的應用程式 DataStream API可以使用 Java 或 Scala 編寫,而且可以從 Kinesis 資料串流、Amazon MSK 主題或自訂來源讀取。

應用程式使用連接器來處理資料。Apache Flink 使用以下類型的連接器:

  • 來源:用於讀取外部資料的連接器。

  • 接收器:用於寫入外部位置的連接器。

  • 運算子:用於處理應用程式內資料的連接器。

典型的應用程式包含至少一個具有來源的資料串流、具有一或多個運算子的資料串流,以及至少一個資料接收器。

若要取得有關使用的更多資訊 DataStream API,請參閱檢閱 DataStream API元件

表 API

Apache 的 Flink 表格API程式設計模型是基於下列元件:

  • 資料表環境:用於建立和託管一個或多個資料表的基礎資料的介面。

  • 表格:提供資料SQL表或檢視表存取權的物件。

  • 資料表來源:用於讀取外部來源的資料,例如 Amazon MSK 主題。

  • 資料表函數:用來轉換資料的SQL查詢或API呼叫。

  • 資料表接收器:用於將資料寫入外部位置,例如 Amazon S3 儲存貯體。

使用表格建立的應用程式會API執行下列動作:

  • 透過連線至 Table Source 建立 TableEnvironment

  • TableEnvironment使用SQL查詢或表API函數中建立表格。

  • 使用資料表API或在資料表上執行查詢 SQL

  • 使用表函數或查詢在查詢結果上應用SQL轉換。

  • 將查詢或函數結果寫入 Table Sink

使用該表的應用程序API可以用 Java 或 Scala 編寫,並且可以使用API調用或SQL查詢查詢數據。

若要取得有關使用表格的更多資訊API,請參閱檢閱表格API元件

為 Apache Flink 應用程式建立您的受管理服務

適用於 Apache Flink 的受管理服 AWS 務是一項服務,可建立託管 Apache Flink 應用程式的環境,並提供下列設定:

您可以使用主控台或 AWS CLI建立 Managed Service for Apache Flink 應用程式。若要開始建立 Managed Service for Apache Flink 應用程式,請參閱教學課程:開始使用適用於 Apache Flink 的 DataStream API受管理服務