Hudi 組態最佳實務 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Hudi 組態最佳實務

若要在 Managed Service for Apache Flink 上執行 Hudi 連接器,我們建議進行下列組態變更。

停用 hoodie.embed.timeline.server

Flink 上的 Hudi 連接器會在 Flink 任務管理工具 (JM) 上設定內嵌的時間軸 (TM) 伺服器,以快取中繼資料,以便在任務平行處理很高時改善效能。我們建議您在 Managed Service for Apache Flink 上停用此內嵌伺服器,因為我們停用 JM 和 TM 之間的非連結通訊。

如果啟用此伺服器,Hudi 寫入會先嘗試連線至 JM 上的內嵌伺服器,然後回到從 Amazon S3 讀取中繼資料。這表示 Hudi 發生連線逾時,延遲 Hudi 寫入,並對 Managed Service for Apache Flink 造成效能影響。