Monitor HBase mit Ganglia - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Monitor HBase mit Ganglia

Das Open-Source-Projekt Ganglia ist ein skalierbares, verteiltes System zur Überwachung von Clustern und Grids, das zugleich die Auswirkungen auf die Leistung minimiert. Wenn Sie Ganglia in Ihrem Cluster aktivieren, können Sie Berichte erstellen und die Leistung des Clusters als Ganzes betrachten. Ebenso können Sie die Leistung einzelner Knoten-Instances überprüfen. Weitere Informationen zum Open-Source-Projekt Ganglia finden Sie unter http://ganglia.info/. Weitere Informationen zur Verwendung von Ganglia mit EMR Amazon-Clustern finden Sie unterGanglia.

Nachdem der Cluster mit konfiguriertem Ganglia gestartet wurde, können Sie über die grafische Oberfläche, die auf dem primären Knoten ausgeführt wird, auf die Ganglia-Diagramme und -Berichte zugreifen.

Ganglia speichert Protokolldateien auf dem primären Knoten im Verzeichnis. /mnt/var/lib/ganglia/rrds/ Frühere Versionen von Amazon EMR können Protokolldateien im /var/log/ganglia/rrds/ Verzeichnis speichern.

Um einen Cluster für Ganglia zu konfigurieren und HBase den AWS CLI

  • Verwenden Sie einen create-cluster-Befehl ähnlich dem folgenden:

    aws emr create-cluster --name "Test cluster" --release-label emr-7.2.0 \
--applications Name=HBase Name=Ganglia --use-default-roles \
--ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3
    Anmerkung

    Wenn die standardmäßige EMR Amazon-Servicerolle und das EC2 Amazon-Instanzprofil nicht existieren, tritt ein Fehler auf. Verwenden Sie den Befehl aws emr create-default-roles, um die Rolle und das Profil zu erstellen, und versuchen Sie es erneut.

    Weitere Informationen finden Sie unter EMRAmazon-Befehle in der AWS CLI.

Um HBase Metriken in der Ganglia-Weboberfläche anzuzeigen

  1. Wird verwendetSSH, um einen Tunnel in den Primärknoten zu tunneln und eine sichere Verbindung herzustellen. Weitere Informationen finden Sie unter Option 2, Teil 1: Einen SSH Tunnel zum Primärknoten mithilfe dynamischer Portweiterleitung einrichten im Amazon EMR Management Guide.

  2. Installieren Sie einen Webbrowser mit einem Proxy-Tool, z. B. dem FoxyProxy Plug-in für Firefox, um einen SOCKS Proxy für AWS Domains zu erstellen. Weitere Informationen finden Sie unter Option 2, Teil 2: Proxyeinstellungen konfigurieren, um Websites anzuzeigen, die auf dem primären Knoten gehostet werden, im Amazon EMR Management Guide.

  3. Wenn der Proxy eingerichtet und die SSH Verbindung geöffnet ist, können Sie die Ganglia-Metriken anzeigen, indem Sie ein Browserfenster mit http://öffnenmaster-public-dns-name/Ganglia/, wo master-public-dns-name ist die öffentliche DNS Adresse des Masterservers im Cluster. HBase

Um Ganglia-Protokolldateien auf dem primären Knoten anzuzeigen

  • Wenn der Cluster noch läuft, können Sie auf die Protokolldateien zugreifen, indem Sie eine Verbindung SSH zum primären Knoten herstellen und zum /mnt/var/lib/ganglia/rrds/ Verzeichnis navigieren. Für EMR 3.x navigieren Sie zum /var/log/ganglia/rrds Verzeichnis. Weitere Informationen finden Sie unter Connect mit dem primären Knoten herstellen SSH im Amazon EMR Management Guide.

So zeigen Sie Ganglia-Protokolldateien in Amazon S3 an

  • Die Ganglia-Protokolldateien werden nicht automatisch nach Amazon S3 geschrieben, auch wenn Sie die Protokollierung für den Cluster aktivieren. Um die Ganglia-Protokolldateien in Amazon S3 anzuzeigen, müssen Sie die Protokolle manuell per Push von /mnt/var/lib/ganglia/rrds/ in den S3-Bucket übertragen.