Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

HBase Anwendungsspezifikationen für frühere AMI-Versionen von Amazon EMR

Unterstützte Versionen HBase

HBase Voraussetzungen für den Cluster

Ein Cluster, der mit den Amazon EMR AMI-Versionen 2.x und 3.x erstellt wurde, sollte die folgenden Anforderungen erfüllen für. HBase

Erstellen eines Clusters mit HBase

In der folgenden Tabelle sind Optionen aufgeführt, die verfügbar sind, wenn Sie die Konsole verwenden, um einen Cluster mit HBase einer Amazon EMR AMI-Release-Version zu erstellen.

Mit dem folgenden AWS CLI Beispielbefehl wird ein Cluster mit HBase und anderen Anwendungen gestartet:

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
               --applications Name=Hue Name=Hive Name=Pig Name=HBase \
               --use-default-roles --ec2-attributes KeyName=myKey \
               --instance-type c1.xlarge --instance-count 3 --termination-protected

Nachdem die Verbindung zwischen Hive und HBase Clustern hergestellt wurde (wie im vorherigen Verfahren gezeigt), können Sie auf die im HBase Cluster gespeicherten Daten zugreifen, indem Sie eine externe Tabelle in Hive erstellen.

Wenn das folgende Beispiel über die Hive-Eingabeaufforderung ausgeführt wird, wird eine externe Tabelle erstellt, die auf Daten verweist, die in einer HBase Tabelle mit dem Namen gespeichert sind. inputTable Anschließend können Sie inputTable in Hive-Anweisungen referenzieren, um im Cluster gespeicherte Daten abzufragen und zu ändern. HBase

add jar lib/emr-metrics-1.0.jar ;
               add jar lib/protobuf-java-2.4.0a.jar ;
               
               set hbase.zookeeper.quorum=ec2-107-21-163-157.compute-1.amazonaws.com ;
               
               create external table inputTable (key string, value string)
                    stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
                     with serdeproperties ("hbase.columns.mapping" = ":key,f1:col1")
                     tblproperties ("hbase.table.name" = "t1");
               
               select count(*) from inputTable ;		

Konfiguration anpassen HBase

Obwohl die Standardeinstellungen für die meisten Anwendungen funktionieren sollten, haben Sie die Flexibilität, Ihre HBase Konfigurationseinstellungen zu ändern. Führen Sie hierzu eines der beiden Bootstrap-Aktionsskripts aus:

Wenn Sie die Aktionen configure-hbase oder configure-hbase-daemonsbootstrap ausführen, überschreiben die von Ihnen angegebenen Werte die Standardwerte. Alle Werte, die Sie nicht explizit angeben, erhalten die Standardwerte.

Die Konfiguration HBase mit diesen Bootstrap-Aktionen entspricht der Verwendung von Bootstrap-Aktionen in Amazon EMR zur Konfiguration von Hadoop-Einstellungen und Hadoop-Daemon-Eigenschaften. Der Unterschied besteht darin, dass HBase es keine Speicheroptionen pro Prozess gibt. Stattdessen werden die Speicheroptionen mithilfe des --daemon-opts Arguments festgelegt, wobei daemon das Argument durch den Namen des zu konfigurierenden Daemons ersetzt wird.

Daemons konfigurieren HBase

Amazon EMR bietet eine Bootstrap-Aktions3://region.elasticmapreduce/bootstrap-actions/configure-hbase-daemons, mit der Sie die Konfiguration von HBase Daemons ändern können. Dabei region handelt es sich um die Region, in der Sie Ihren Cluster starten. HBase

Um HBase Daemons mit dem zu konfigurieren AWS CLI, fügen Sie beim Starten des Clusters die configure-hbase-daemons Bootstrap-Aktion hinzu, um einen oder mehrere Daemons zu konfigurieren. HBase Sie können die folgenden Eigenschaften festlegen:

Weitere Informationen zu diesen Optionen finden Sie in der Dokumentation unter hbase-env.sh. HBase

Eine Bootstrap-Aktion zum Konfigurieren von Werten für zookeeper-opts und hbase-master-opts wird im folgenden Beispiel dargestellt.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-daemons,\
Args=["--hbase-zookeeper-opts=-Xmx1024m -XX:GCTimeRatio=19","--hbase-master-opts=-Xmx2048m","--hbase-regionserver-opts=-Xmx4096m"]

Konfigurieren Sie HBase die Site-Einstellungen

Amazon EMR bietet eine Bootstrap-Aktions3://elasticmapreduce/bootstrap-actions/configure-hbase, mit der Sie die Konfiguration ändern können. HBase Sie können Konfigurationswerte one-by-one als Argumente in der Bootstrap-Aktion festlegen oder den Speicherort einer XML-Konfigurationsdatei in Amazon S3 angeben. Das Festlegen von Konfigurationswerten one-by-one ist nützlich, wenn Sie nur einige Konfigurationseinstellungen festlegen müssen. Sie mit einer XML-Datei zu definieren, ist hilfreich, wenn Sie viele Änderungen vornehmen müssen oder Ihre Konfigurationseinstellungen für die Wiederverwendung speichern möchten.

Diese Bootstrap-Aktion ändert die /home/hadoop/conf/hbase-site.xml Konfigurationsdatei auf dem HBase Cluster. Die Bootstrap-Aktion kann nur ausgeführt werden, wenn der HBase Cluster gestartet wird.

Weitere Informationen zu den HBase Site-Einstellungen, die Sie konfigurieren können, finden Sie in der HBase Dokumentation unter Standardkonfiguration.

Legen Sie die configure-hbase Bootstrap-Aktion fest, wenn Sie den HBase Cluster starten, und geben Sie die hbase-site.xml zu ändernden Werte an.

Wenn der Proxy eingerichtet und die SSH-Verbindung geöffnet ist, können Sie die HBase Benutzeroberfläche anzeigen, indem Sie ein Browserfenster mit http: //:60010/master-status öffnenmaster-public-dns-name, in dem sich die öffentliche DNS-Adresse des Master-Knotens master-public-dns-name im Cluster befindet. HBase

Sie können die aktuellen HBase Protokolle anzeigen, indem Sie SSH verwenden, um eine Verbindung zum Master-Knoten herzustellen, und zum Verzeichnis navigieren. mnt/var/log/hbase Diese Protokolle sind nicht verfügbar, nachdem der Cluster beendet wurde, es sei denn, Sie aktivieren beim Starten des Clusters die Protokollierung nach Amazon S3.

Sichern und wiederherstellen HBase

Amazon EMR bietet die Möglichkeit, Ihre HBase Daten entweder manuell oder nach einem automatisierten Zeitplan auf Amazon S3 zu sichern. Sie können sowohl vollständige als auch inkrementelle Sicherungen durchführen. Nachdem Sie eine gesicherte Version der HBase Daten erstellt haben, können Sie diese Version in einem Cluster wiederherstellen. HBase Sie können die Wiederherstellung auf einem HBase Cluster durchführen, der gerade ausgeführt wird, oder einen neuen Cluster starten, der bereits mit gesicherten Daten gefüllt ist.

Führt während des Backup-Vorgangs HBase weiterhin Schreibbefehle aus. Dadurch wird zwar sichergestellt, dass Ihr Cluster während der Sicherung verfügbar bleibt, es besteht aber das Risiko von Inkonsistenzen zwischen den Daten, die gesichert werden, und den Schreibvorgängen, die parallel ausgeführt werden. Um die möglicherweise auftretenden Inkonsistenzen zu verstehen, müssen Sie berücksichtigen, dass Schreibvorgänge auf die Knoten im Cluster HBase verteilt werden. Wenn ein Schreibvorgang erfolgt, nachdem ein bestimmter Knoten abgefragt wurde, werden diese Daten nicht in das Sicherungsarchiv aufgenommen. Möglicherweise stellen Sie sogar fest, dass frühere Schreibvorgänge in den HBase Cluster (die an einen Knoten gesendet wurden, der bereits abgefragt wurde) möglicherweise nicht im Backup-Archiv enthalten sind, während spätere Schreibvorgänge (die an einen Knoten gesendet wurden, bevor dieser abgerufen wurde) enthalten sind.

Wenn ein konsistentes Backup erforderlich ist, müssen Sie die Schreibvorgänge HBase während des ersten Teils des Backup-Vorgangs, d. h. der knotenübergreifenden Synchronisation, unterbrechen. Sie tun dies, indem Sie beim Anfordern einer Sicherung den Parameter --consistent angeben. Mit diesem Parameter werden die Schreibvorgänge während dieses Zeitraums in eine Warteschlage gestellt und ausgeführt, sobald die Synchronisierung abgeschlossen ist. Sie können auch regelmäßige Sicherungen einplanen. Dadurch werden Inkonsistenzen, die im Laufe der Zeit entstehen, aufgelöst, da die Daten, die bei einer Sicherung nicht berücksichtigt wurden, im folgenden Vorgang gesichert werden.

Wenn Sie HBase Daten sichern, sollten Sie für jeden Cluster ein anderes Sicherungsverzeichnis angeben. Eine einfache Möglichkeit dafür ist die Verwendung der Cluster-Kennung als Bestandteil des für das Sicherungsverzeichnis angegebenen Pfads. Beispiel, s3://amzn-s3-demo-bucket/backups/j-3AEXXXXXX16F2. Dadurch wird sichergestellt, dass alle future inkrementellen Backups auf den richtigen HBase Cluster verweisen.

Wenn Sie bereit sind, alte Sicherungsdateien zu löschen, die nicht mehr benötigt werden, empfehlen wir Ihnen, zunächst eine vollständige Sicherung Ihrer HBase Daten zu erstellen. Auf diese Weise wird sichergestellt, dass alle Daten erhalten bleiben. Außerdem bietet Ihnen dies eine Baseline für zukünftige inkrementelle Sicherungen. Nachdem die vollständige Sicherung abgeschlossen ist, können Sie zum Sicherungsverzeichnis navigieren und die alten Sicherungsdateien manuell löschen.

Der HBase Sicherungsvorgang verwendet S3 DistCp für den Kopiervorgang, der bestimmte Einschränkungen in Bezug auf den Speicherplatz für temporäre Dateien aufweist.

Sicherung und Wiederherstellung HBase mithilfe der Konsole

Die Konsole bietet die Möglichkeit, einen neuen Cluster zu starten und ihn mit Daten aus einem früheren HBase Backup zu füllen. Sie bietet Ihnen auch die Möglichkeit, regelmäßige inkrementelle Backups von HBase Daten zu planen. Über die CLI stehen zusätzliche Sicherungs- und Wiederherstellungsfunktion zur Verfügung, z. B. können Daten auf einem bereits ausgeführten Cluster wiederhergestellt, manuelle Sicherungen durchgeführt und automatisierte vollständige Sicherungen terminiert werden.

Überwachen Sie HBase mit CloudWatch

Amazon EMR meldet drei Messwerte CloudWatch , anhand derer Sie Ihre HBase Backups überwachen können. Diese Messwerte werden in Intervallen von fünf Minuten aktualisiert und kostenlos zur Verfügung gestellt. CloudWatch

Konfiguriere Ganglia für HBase

Sie konfigurieren Ganglia für die HBase Verwendung der configure-hbase-for-gangliaBootstrap-Aktion. Diese Bootstrap-Aktion ist so konfiguriert, dass Metriken HBase in Ganglia veröffentlicht werden.

Sie müssen Ganglia konfigurieren HBase , wenn Sie den Cluster starten. Ganglia Reporting kann nicht zu einem laufenden Cluster hinzugefügt werden.

Ganglia speichert Protokolldateien auch auf dem Server unter /mnt/var/log/ganglia/rrds. Wenn Sie Ihren Cluster so konfiguriert haben, dass Protokolldateien dauerhaft in einem Amazon-S3-Bucket gespeichert werden, werden die Ganglia-Protokolldateien auch dort dauerhaft abgelegt.

Um einen Cluster mit Ganglia for zu starten HBase, verwenden Sie die configure-hbase-for-gangliaBootstrap-Aktion, wie im folgenden Beispiel gezeigt.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase Name=Ganglia \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-for-ganglia

Nachdem der Cluster gestartet wurde, für den Ganglia konfiguriert ist, können Sie auf die Ganglia-Grafiken und -Berichte über die Benutzeroberfläche auf dem Master-Knoten zugreifen.