Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。
本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
阿帕奇 Flink 的託管服務:它是如何工作的
適用於 Apache Flink 的受管服務是一項全受管的 Amazon 服務,可讓您使用 Apache Flink 應用程式來處理串流資料。首先,您編程您的 Apache Flink 應用程序,然後創建 Apache Flink 應用程序的託管服務。
編程您的阿帕奇 Flink 應用程序
Apache Flink 應用程式是使用 Apache Flink 框架建立的 Java 或 Scala 應用程式。您可以在本機編寫並建置 Apache Flink 應用程式。
應用程式主要使用DataStream API
兩者的特點APIs如下:
DataStream API
阿帕奇 Flink DataStream API 編程模型是基於兩個組成部分:
-
資料串流:資料記錄之連續資料流的結構化表示。
-
轉換運算子:接受一或多個資料串流作為輸入,並產生一或多個資料串流作為輸出。
使用建立的應用程式 DataStream API請執行下列動作:
從資料來源讀取資料 (例如 Kinesis 串流或 Amazon MSK 主題)。
將轉換套用至資料,例如篩選、彙總或富集。
將轉換後的資料寫入資料接收器。
使用的應用程式 DataStream API可以使用 Java 或 Scala 編寫,而且可以從 Kinesis 資料串流、Amazon MSK 主題或自訂來源讀取。
應用程式使用連接器來處理資料。Apache Flink 使用以下類型的連接器:
-
來源:用於讀取外部資料的連接器。
-
接收器:用於寫入外部位置的連接器。
-
運算子:用於處理應用程式內資料的連接器。
典型的應用程式包含至少一個具有來源的資料串流、具有一或多個運算子的資料串流,以及至少一個資料接收器。
若要取得有關使用的更多資訊 DataStream API,請參閱檢閱 DataStream API元件。
表 API
Apache 的 Flink 表格API程式設計模型是基於下列元件:
-
資料表環境:用於建立和託管一個或多個資料表的基礎資料的介面。
-
表格:提供資料SQL表或檢視表存取權的物件。
-
資料表來源:用於讀取外部來源的資料,例如 Amazon MSK 主題。
-
資料表函數:用來轉換資料的SQL查詢或API呼叫。
-
資料表接收器:用於將資料寫入外部位置,例如 Amazon S3 儲存貯體。
使用表格建立的應用程式會API執行下列動作:
透過連線至
Table Source
建立TableEnvironment
。在
TableEnvironment
使用SQL查詢或表API函數中建立表格。使用資料表API或在資料表上執行查詢 SQL
使用表函數或查詢在查詢結果上應用SQL轉換。
將查詢或函數結果寫入
Table Sink
。
使用該表的應用程序API可以用 Java 或 Scala 編寫,並且可以使用API調用或SQL查詢查詢數據。
若要取得有關使用表格的更多資訊API,請參閱檢閱表格API元件。
為 Apache Flink 應用程式建立您的受管理服務
適用於 Apache Flink 的受管理服 AWS 務是一項服務,可建立託管 Apache Flink 應用程式的環境,並提供下列設定:
-
在 Apache Flink 的受管理服務中使用執行階段屬性:可以提供給應用程式的參數。您可以變更這些參數,無需重新編譯應用程式的程式碼。
-
在 Apache Flink 的受管理服務中實作容錯能力:應用程式如何從中斷和重新啟動中復原。
-
在 Amazon 管理服務中為 Apache Flink 進行日誌記錄和監控:您的應用程式如何將事件記 CloudWatch 錄到記錄檔。
-
在 Apache Flink 的受管理服務中實作應用程式調整:應用程式如何佈建運算資源。
您可以使用主控台或 AWS CLI建立 Managed Service for Apache Flink 應用程式。若要開始建立 Managed Service for Apache Flink 應用程式,請參閱教學課程:開始使用適用於 Apache Flink 的 DataStream API受管理服務。