Hudi

Apache Hudi は、増分データの処理とデータパイプラインの開発をシンプルにするオープンソースのデータ管理フレームワークであり、レコードレベルの挿入、更新、アップサート、および削除機能を備えています。アップサートとは、既存のデータセットにレコードがまだ存在しない場合は挿入し、存在する場合は更新する機能を指します。Amazon S3 でのデータのレイアウト方法を効率的に管理することで、Hudi はデータをほぼリアルタイムで取り込んで更新できます。Hudi は、データセットに対して実行されたアクションのメタデータをきめ細かく管理して、アクションをアトミックで整合性のある状態にするのに役立ちます。

Hudi は、Apache Spark、Apache Hive、および Presto と統合されています。Amazon EMRリリースバージョン 6.1.0 以降では、Hudi は Trino (Presto SQL) とも統合されています。

Amazon EMRリリースバージョン 5.28.0 以降では、Spark、Hive、Presto、または Flink EMRがインストールされると、 は Hudi コンポーネントをデフォルトでインストールします。Spark または Hudi DeltaStreamer ユーティリティを使用して Hudi データセットを作成または更新できます。Hive、Spark、Presto、または Flink を使用して、Hudi データセットをインタラクティブにクエリしたり、増分プルを使用してデータ処理パイプラインを構築したりできます。増分プルとは、2 つのアクション間で変更されたデータのみをプルする機能を指します。

これらの機能により、Hudi は以下のユースケースに適しています。

次の表に、Amazon 7.x シリーズの最新リリースに含まれる Hudi EMR のバージョンと、Amazon が Hudi と共にEMRインストールするコンポーネントを示します。

このリリースで Hudi と共にインストールされるコンポーネントのバージョンについては、「リリース 7.3.0 コンポーネントバージョン」を参照してください。

次の表に、Amazon 6.x シリーズの最新リリースに含まれる Hudi EMR のバージョンと、Amazon が Hudi と共にEMRインストールするコンポーネントを示します。

このリリースで Hudi と共にインストールされるコンポーネントのバージョンについては、「リリース 6.15.0 コンポーネントバージョン」を参照してください。

次の表に、Amazon 5.x シリーズの最新リリースに含まれる Hudi EMR のバージョンと、Amazon が Hudi と共にEMRインストールするコンポーネントを示します。

このリリースで Hudi と共にインストールされるコンポーネントのバージョンについては、「リリース 5.36.2 コンポーネントバージョン」を参照してください。