View a markdown version of this page

Cluster-übergreifende EMR WAL-Replikation - Amazon EMR
Cross-cluster Einrichtung der ReplikationCross-cluster Bestätigung der Replikation

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Cluster-übergreifende EMR WAL-Replikation

Ab EMR 7.5 unterstützt EMR WAL die clusterübergreifende HBase-Replikation von Write-Ahead-Protokollen. In diesem Thema erfahren Sie, wie Sie die Funktion aktivieren und überprüfen, ob sie funktioniert. Weitere Informationen zur Cluster-Replikation finden Sie unter Cluster-Replikation in der Apache HBase-Dokumentation.

Anmerkung

Write-Ahead-Logs sind mit zusätzlichen Lesekosten verbunden, da der Replikationsprozess Daten aus der lokalen EMR-WAL liest. Weitere Informationen zu den Kosten finden Sie unter Über Amazon EMR-Versionen.

Cross-cluster Einrichtung der Replikation

Um die gleiche Benutzererfahrung zu erzielen, erfolgt die Aktivierung der Replikationsfunktion auf EMR WAL genauso wie bei nativen HBase-Write-Ahead-Protokollen. Das folgende Verfahren zeigt ein einfaches Beispiel. Weitere Informationen finden Sie in der HBase-Dokumentation unter Cluster Replication.

  1. Starten Sie einen primären Cluster, der die Replikationsquelle ist, mit aktiviertem EMR WAL. Informationen zum Aktivieren von Write-Ahead-Protokollen finden Sie unter. Amazon EMR WAL aktivieren Starten Sie zusätzlich einen Peer-Cluster. Für diesen Peer-Cluster können Sie wählen, ob Sie EMR WAL aktivieren möchten oder nicht.

  2. Erstellen Sie auf beiden Clustern eine Tabelle:

    HBASE_CMD="sudo -u hbase hbase"
echo "create 'test_replication_table',{NAME => 'CF'}" | $HBASE_CMD shell

  3. Fügen Sie Peer-Setup auf dem primären Cluster hinzu und aktivieren Sie die Tabellenreplikation. Während des Peer-Hinzufügens wird der Hostname des Peer-Cluster-Masterknotens benötigt, der PEER_DNS lautet.

    HBASE_CMD="sudo -u hbase hbase"
PEER_DNS="ip-10-1-1-0.ec2.com"
PEER_NAME="aws"
TABLE_NAME="test_replication_table"

## Create peering with the destination cluster
echo "add_peer '$PEER_NAME', CLUSTER_KEY => '$PEER_DNS:2181:/hbase'" | $HBASE_CMD shell

## List peers in the primary cluster to confirm peer setup
echo "list_peers" | $HBASE_CMD shell

## Enable table replication
echo "enable_table_replication '$TABLE_NAME'" | $HBASE_CMD shell

Bestätigung der clusterübergreifenden Replikation

Nach Durchführung der Einrichtungsschritte wird die Replikation zwischen dem primären Cluster und dem Peer-Cluster aktiviert. Es folgt ein Test, der bestätigt, dass die Replikation funktioniert.

  1. Fügen Sie Daten auf dem primären Cluster hinzu und überprüfen Sie, ob die Daten auf den Peer-Cluster repliziert wurden.

    ## Write on primary cluster with HBase CLI

put 'test_replication_table', 'aaa', 'CF:a', 'aaa_a1'
put 'test_replication_table', 'bbb', 'CF:b', 'bbb_b1'
put 'test_replication_table', 'ccc', 'CF:c', 'ccc_c1'

  2. Bestätigen Sie die erfolgreiche Replikation auf dem Peer-Cluster. In diesem Fall sollten Sie sehen, dass replizierte Daten vom Primär- in den Peer-Cluster geschrieben werden.

    ### Scan on peer cluster with HBase CLI

scan 'test_replication_table'