Amazon の先行書き込みログ (WAL) EMR

Amazon EMR6.15 以降では、Apache 先行HBase書き込みログ (WAL) を Amazon EMR に書き込むことができますWAL。Amazon EMRリリースが小さい場合、HBaseAmazon S3 の オプションを使用してクラスターを作成すると、 WALはクラスターのローカルディスクに保存される唯一の Apache HBaseコンポーネントであり、ルートディレクトリ、ファイル (HFiles）、テーブルメタデータ、Amazon S3 上のデータなどの他のコンポーネントを保存できます。

Amazon を使用してEMRWAL、Amazon S3 にフラッシュされなかったデータを復元できます。HBase クラスターを完全にバックアップするには、Amazon EMRWALサービスの使用をオプトインします。バックグラウンドで、 は Amazon WALの に先行HBase書き込みログ (WAL) をRegionServer書き込みますEMR。

クラスターまたは AZ が異常または使用できなくなった場合は、新しいクラスターを作成し、同じ S3 ルートディレクトリと Amazon EMR WAL ワークスペースにポイントして、数分以内に WALでデータを自動的に復元できます。詳細については、「Amazon からの復元 EMR WAL」を参照してください。

Amazon EMRリリース 7.3.0 以降では、Amazon はサーバーEMRWALsごとに複数の EMRを作成し、複数のHBaseリージョンを 1 つの Amazon EMR にグループ化しますWAL。これにより、Apache が強化HBaseWALされ、ログ使用率が向上し、コストが最適化されます。あたりの Amazon HBase EMRWALインスタンスの数を設定するにはRegionServer、 パラメータを使用しますhbase.wal.regiongrouping.numgroups。デフォルトでは、このパラメータは 2 に設定されます。

Amazon 7.3.0 EMR より前のリリースを実行する場合は、古いHBaseクラスターのテーブルを手動で無効にして、Amazon 内のすべてのデータが Amazon S3 にEMRWALフラッシュされるようにすることをお勧めします。次に、古い Amazon EMR を削除しWAL、古いクラスターを終了して、最新のリリースを実行する新しいクラスターを設定します。問題が発生し、古いクラスターのテーブルを無効にできない場合は、古いクラスターを直接終了し、新しいクラスターで emr.wal.multiplex.migrate を true に設定できます。true に設定すると、 HBaseはHBaseリージョンの初期化中に古い Amazon EMRWALインスタンスからのデータの再生を試み、再生WALs後に古いインスタンスを削除します。この再生プロセスでは、読み取りに追加のコストが発生します。移行後は、クラスターを設定し、emr.wal.multiplex.migrate を false に設定することをお勧めします。または、 パラメータを削除してHBaseリージョンの初期化を高速化することもできます。

以下のセクションでは、 HBase対応EMRクラスターEMRWALで Amazon をセットアップして使用する方法について説明します。