Hudi 設定のベストプラクティス - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Hudi 設定のベストプラクティス

Managed Service for Apache Flink で Hudi コネクタを実行するには、以下の設定変更をお勧めします。

hoodie.embed.timeline.server の無効化

Flink の Hudi コネクタは、Flink ジョブマネージャー (JM) に埋め込みタイムライン (TM) サーバーをセットアップしてメタデータをキャッシュし、ジョブの並列性が高い場合にパフォーマンスを向上させます。JM と TM 間の非 Flink 通信を無効にするため、 Managed Service for Apache Flink でこの埋め込みサーバーを無効にすることをお勧めします。

このサーバーが有効になっている場合、Hudi 書き込みはまず JM の埋め込みサーバーへの接続を試み、Amazon S3 からのメタデータの読み取りに戻ります。つまり、Hudi は接続タイムアウトが発生し、Hudi が書き込みを遅延させ、Managed Service for Apache Flink のパフォーマンスに影響します。