EMR WAL クラスター間レプリケーション - Amazon EMR
クラスター間レプリケーションの設定クラスター間レプリケーションの確認

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

EMR WAL クラスター間レプリケーション

EMR 7.5 以降、EMR WAL は先行書き込みログの HBase クラスター間レプリケーションをサポートしています。このトピックでは、 機能を有効にして機能していることを確認する方法について説明します。クラスターレプリケーションの詳細については、Apache HBase ドキュメントの「クラスターレプリケーション」を参照してください。

注記

レプリケーションプロセスがローカル EMR WAL からデータを読み取りするため、先行書き込みログには追加の読み取りコストがかかります。コストの詳細については、「Amazon EMR リリースについて」を参照してください。

クラスター間レプリケーションの設定

同じユーザーエクスペリエンスを実現するために、EMR WAL でレプリケーション機能を有効にすることは、ネイティブの HBase 先行書き込みログと同じです。以下の手順は、簡単な例を示しています。詳細については、「クラスターレプリケーション」のHBase ドキュメント」を参照してください。

  1. EMR WAL を有効にして、レプリケーションソースであるプライマリクラスターを起動します。先行書き込みログを有効にするには、「」を参照してくださいAmazon EMR WAL の有効化。さらに、ピアクラスターを起動します。このピアクラスターでは、EMR WAL を有効にするかどうかを選択できます。

  2. 両方のクラスターで、テーブルを作成します。

    HBASE_CMD="sudo -u hbase hbase"
echo "create 'test_replication_table',{NAME => 'CF'}" | $HBASE_CMD shell

  3. プライマリクラスターにピア設定を追加し、テーブルレプリケーションを有効にします。ピアの追加中、ピアクラスターのマスターノードのホスト名である PEER_DNS が必要です。

    HBASE_CMD="sudo -u hbase hbase"
PEER_DNS="ip-10-1-1-0.ec2.com"
PEER_NAME="aws"
TABLE_NAME="test_replication_table"

## Create peering with the destination cluster
echo "add_peer '$PEER_NAME', CLUSTER_KEY => '$PEER_DNS:2181:/hbase'" | $HBASE_CMD shell

## List peers in the primary cluster to confirm peer setup
echo "list_peers" | $HBASE_CMD shell

## Enable table replication
echo "enable_table_replication '$TABLE_NAME'" | $HBASE_CMD shell

クロスクラスターレプリケーションの確認

セットアップステップを実行すると、プライマリクラスターとピアクラスターの間でレプリケーションが有効になります。レプリケーションが機能していることを確認するためのテストが続きます。

  1. プライマリクラスターにデータを追加し、ピアクラスターにレプリケートされたデータを確認します。

    ## Write on primary cluster with HBase CLI

put 'test_replication_table', 'aaa', 'CF:a', 'aaa_a1'
put 'test_replication_table', 'bbb', 'CF:b', 'bbb_b1'
put 'test_replication_table', 'ccc', 'CF:c', 'ccc_c1'

  2. ピアクラスターで正常にレプリケーションされたことを確認します。この場合、プライマリからピアクラスターに書き込まれたレプリケートされたデータが表示されます。

    ### Scan on peer cluster with HBase CLI

scan 'test_replication_table'