Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Monitor HBase mit Ganglia
Anmerkung
Die letzte Version von Amazon EMR, die Ganglia enthielt, war Amazon EMR 6.15.0. Um Ihren Cluster zu überwachen, enthalten Versionen über 6.15.0 den CloudWatch Amazon-Agenten.
Das Open-Source-Projekt Ganglia ist ein skalierbares, verteiltes System zur Überwachung von Clustern und Grids, das zugleich die Auswirkungen auf die Leistung minimiert. Wenn Sie Ganglia in Ihrem Cluster aktivieren, können Sie Berichte erstellen und die Leistung des Clusters als Ganzes betrachten. Ebenso können Sie die Leistung einzelner Knoten-Instances überprüfen. Weitere Informationen zum Open-Source-Projekt Ganglia finden Sie unter http://ganglia.info/
Nachdem der Cluster mit konfiguriertem Ganglia gestartet wurde, können Sie über die grafische Oberfläche, die auf dem primären Knoten ausgeführt wird, auf die Ganglia-Diagramme und -Berichte zugreifen.
Ganglia speichert Protokolldateien auf dem primären Knoten im Verzeichnis. /mnt/var/lib/ganglia/rrds/ Frühere Versionen von Amazon EMR speichern Protokolldateien möglicherweise im /var/log/ganglia/rrds/-Verzeichnis.
Um einen Cluster für Ganglia zu konfigurieren und den HBase AWS CLI
-
Verwenden Sie einen
create-cluster-Befehl ähnlich dem folgenden:aws emr create-cluster --name "Test cluster" --release-labelemr-7.8.0\ --applications Name=HBaseName=Ganglia--use-default-roles \ --ec2-attributes KeyName=myKey--instance-typem5.xlarge\ --instance-count3Anmerkung
Wenn die standardmäßige Amazon EMR-Servicerolle und das EC2 Amazon-Instance-Profil nicht existieren, tritt ein Fehler auf. Verwenden Sie den Befehl
aws emr create-default-roles, um die Rolle und das Profil zu erstellen, und versuchen Sie es erneut.Weitere Informationen finden Sie unter Amazon-EMR-Befehle in der AWS CLI.
Um HBase Metriken in der Ganglia-Weboberfläche anzuzeigen
-
Verwenden Sie SSH, um einen Tunnel zum Primärknoten zu tunneln und eine sichere Verbindung herzustellen. Weitere Informationen finden Sie unter Option 2, Teil 1: Einen SSH-Tunnel zum Primärknoten mithilfe dynamischer Portweiterleitung einrichten im Amazon EMR Management Guide.
-
Installieren Sie einen Webbrowser mit einem Proxy-Tool, z. B. dem FoxyProxy Plug-in für Firefox, um einen SOCKS-Proxy für AWS Domains zu erstellen. Weitere Informationen finden Sie unter Option 2, Teil 2: Proxyeinstellungen konfigurieren, um Websites anzuzeigen, die auf dem primären Knoten gehostet werden, im Amazon EMR Management Guide.
-
Wenn der Proxy eingerichtet und die SSH-Verbindung geöffnet ist, können Sie die Ganglia-Metriken anzeigen, indem Sie ein Browserfenster mit http://
master-public-dns-name/ganglia/ öffnen, in dem sich die öffentliche DNS-Adresse des Masterservers im Clustermaster-public-dns-namebefindet. HBase
Um Ganglia-Protokolldateien auf dem primären Knoten anzuzeigen
-
Wenn der Cluster noch läuft, können Sie auf die Protokolldateien zugreifen, indem Sie SSH verwenden, um eine Verbindung zum primären Knoten herzustellen und zum Verzeichnis zu navigieren.
/mnt/var/lib/ganglia/rrds/Navigieren Sie für EMR 3.x zum Verzeichnis/var/log/ganglia/rrds. Weitere Informationen finden Sie unter Stellen Sie über SSH eine Verbindung zum Primärknoten her im Verwaltungshandbuch für Amazon EMR.
So zeigen Sie Ganglia-Protokolldateien in Amazon S3 an
-
Die Ganglia-Protokolldateien werden nicht automatisch nach Amazon S3 geschrieben, auch wenn Sie die Protokollierung für den Cluster aktivieren. Um die Ganglia-Protokolldateien in Amazon S3 anzuzeigen, müssen Sie die Protokolle manuell per Push von
/mnt/var/lib/ganglia/rrds/in den S3-Bucket übertragen.
