阿帕奇 Flink 1.19 Amazon 託管服務 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

阿帕奇 Flink 1.19 Amazon 託管服務

阿帕奇 Flink 的託管服務現在支持阿帕奇 Flink 版本 1.19.1。本節將向您介紹與 Apache Flink 1.19.1 支援的 Apache Flink 支援的受管理服務所引入的主要新功能和變更。

注意

如果您使用的是較早支援的 Apache Flink 版本,並且想要將現有的應用程式升級到 Apache Flink 1.19.1,您可以使用就地 Apache Flink 版本升級來執行此操作。如需詳細資訊,請參閱為 Apache Flink 使用就地版本升級。透過就地版本升級,您可以ARN跨 Apache Flink 版本保留應用程式可追溯性,包括快照、記錄、指標、標籤、Flink 組態等。

Apache Flink 1.19.1 在中引入了改進功能 SQLAPI,例如具名參數、自訂來源平行處理原則,以及各種 Flink 運算子TTLs的不同狀態。

支援的功能和相關文件
支援的功能 描述 阿帕奇 Flink 文檔參考
SQLAPI:Support TTLs 使用SQL提示設定不同狀態 使用者現在可以TTL在串流一般聯結和群組彙總上設定狀態。 FLIP-373:使用提示設定不同的狀態 TTLs SQL
SQLAPI:Support 函數和呼叫程序的命名參數 使用者現在可以在函數中使用命名參數,而不是依賴參數的順序。 FLIP-378:Support 函數和呼叫程序的命名參數
SQLAPI:設定來源的平行程度 SQL 使用者現在可以指定SQL來源的平行處理原則。 FLIP-367:Support 設定表格/來源的平行度 SQL
SQLAPI: Support 階段作業視窗 TVF 用戶現在可以使用會話窗口表值函數。 FLINK-24024:Support 工作階段視窗 TVF
SQLAPI:視窗TVF彙總支援變更記錄檔輸入 使用者現在可以對變更記錄檔輸入執行視窗彙總。 FLINK-20281:視窗彙總支援變更記錄檔串流輸入

Support Python

Flink 現在支持 Python 3.11,與 Python 3.10 相比,速度快 10-60%。如需詳細資訊,請參閱 Python 3.11 中的新增功能。 FLINK-33030:新增蟒蛇 3.11 支援
提供 TwoPhaseCommitting 接收器的指標 用戶可以在兩個階段提交接收器中查看有關提交者狀態的統計信息。 FLIP-371:為中的提交者建立提交者提供初始化內容 TwoPhaseCommittingSink

追蹤工作重新啟動和檢查點的記錄器

使用者現在可以監控有關檢查點持續時間和回復趨勢的追蹤。在適用於 Apache Flink 的 Amazon 受管服務中,我們預設會啟用 SLF4j 追蹤記錄器,因此使用者可以透過應用程式記錄來監控檢查點和任務追蹤。 CloudWatch FLIP-384:引入 TraceReporter 並使用它來建立檢查點和復原追蹤
注意

您可以透過提交支援案例來選擇使用下列功能:

選擇加入功能和相關文件
選擇加入功能 描述 阿帕奇 Flink 文檔參考
Support 在源處理積壓時使用更大的檢查點間隔 這是一項選擇加入功能,因為使用者必須針對其特定工作需求調整組態。 FLIP-309:當來源處理積壓時,Support 使用較大的檢查點間隔
將系統輸出和系統重定向到 Java 日誌 這是一項選擇加入功能。在適用於 Apache Flink 的 Amazon 受管服務上,預設行為是忽略來自 System.out 和 System.err 的輸出,因為生產中的最佳實務是使用原生 Java 記錄器。 FLIP-390:Support 系統輸出並錯誤重新導向至LOG或捨棄

如需阿帕奇 Flink 1.19.1 版本文件,請參閱阿帕奇 Flink 文件 v1.19.1。

記錄追蹤報告程式預設為啟用

Apache Flink 1.19.1 引入了檢查點和復原追蹤,讓使用者能夠更妥善地偵錯檢查點和工作復原問題。在適用於 Apache Flink 的 Amazon 受管服務中,這些追蹤會登入 CloudWatch 日誌串流,讓使用者分解任務初始化所花費的時間,並記錄檢查點的歷史大小。

默認重啟策略現在是指數延遲

在 Apache Flink 1.19.1 中,指數延遲重新啟動策略有重大改進。從 Flink 1.19.1 開始,在 Amazon 適用於 Apache Flink 的受管服務中,Flink 任務預設使用指數延遲重新啟動策略。這表示使用者工作可以更快速地從暫時性錯誤中復原,但如果工作重新啟動持續存在,則不會超載外部系統

元件 版本
Java 11 (建議使用)
Python

3.11

Kinesis Data Analytics Flink 執行階段 () aws-kinesisanalytics-runtime 1.2.0
連接器 如需可用連接器的相關資訊,請參閱 Apache Flink 連接器
Apache Beam (僅限於 Beam 應用程式)

Flink 1.19 沒有兼容的阿帕奇 FLINK 亞軍。如需詳細資訊,請參閱 Flink 版本相容性

阿帕奇梁

目前在阿帕奇梁中沒有兼容的阿帕奇 Flink 1.19 的 Flink 亞軍。如需詳細資訊,請參閱 Flink 版本相容性

阿帕奇 Flink 工作室 Amazon 託管服務

Studio 使用 Apache 齊柏林飛艇筆記本提供單一介面開發經驗,用於開發、除錯程式碼和執行 Apache Flink 串流處理應用程式。齊柏林飛艇的 Flink 解譯器需要升級才能支援 Flink 1.19。這項工作安排在齊柏林飛艇社區中,我們將在完成後更新這些註釋。您可以繼續使用 Flink 1.15 與 Amazon 管理服務阿帕奇 Flink 工作室。如需詳細資訊,請參閱建立 Studio 筆記本