Monitorar o HBase com o Ganglia - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Monitorar o HBase com o Ganglia

O projeto de código-fonte aberto Ganglia é um sistema distribuído e escalável, projetado para monitorar clusters e grades e, ao mesmo tempo, minimizar o impacto sobre o seu desempenho. Quando você habilita o Ganglia no seu cluster, pode gerar relatórios e visualizar o desempenho do cluster como um todo, bem como inspecionar o desempenho de instâncias de nós individuais. Para obter mais informações sobre o projeto de código-fonte aberto Ganglia, consulte http://ganglia.info/. Para obter mais informações sobre como usar o Ganglia com clusters do Amazon EMR, consulte Ganglia.

Depois que o cluster for lançado com o Ganglia configurado, você poderá acessar os gráficos e relatórios do Ganglia usando a interface gráfica em execução no nó primário.

O Ganglia armazena arquivos de log no nó primário do /mnt/var/lib/ganglia/rrds/ diretório. Versões anteriores do Amazon EMR podem armazenar arquivos de log no /var/log/ganglia/rrds/ diretório.

Para configurar um cluster para o Ganglia e o HBase usando o AWS CLI

  • Use um comando create-cluster semelhante ao seguinte:

    aws emr create-cluster --name "Test cluster" --release-label emr-7.1.0 \
--applications Name=HBase Name=Ganglia --use-default-roles \
--ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3
    nota

    Se o perfil de serviço do Amazon EMR padrão e o perfil de instância do Amazon EC2 não existirem, ocorrerá um erro. Use o comando aws emr create-default-roles para criá-los e, em seguida, tente novamente.

    Para obter mais informações, consulte os comandos do Amazon EMR na AWS CLI.

Para ver as métricas do HBase na interface Web do Ganglia

  1. Use o SSH para criar um túnel até o nó primário e criar uma conexão segura. Para obter mais informações, consulte a Opção 2, parte 1: Configurar um túnel SSH para o nó primário usando o encaminhamento dinâmico de portas no Guia de Gerenciamento do Amazon EMR.

  2. Instale um navegador da Web com uma ferramenta de proxy, como o FoxyProxy plug-in do Firefox, para criar um proxy SOCKS para AWS domínios. Para obter mais informações, consulte a Opção 2, parte 2: Definir configurações de proxy para visualizar sites hospedados no nó principal no Amazon EMR Management Guide.

  3. Com o proxy definido e a conexão SSH aberta, você pode visualizar as métricas do Ganglia abrindo uma janela do navegador com http://master-public-dns-name/ganglia/, onde master-public-dns-nameestá o endereço DNS público do servidor mestre no cluster do HBase.

Para visualizar os arquivos de log do Ganglia no nó primário

  • Se o cluster ainda estiver em execução, você poderá acessar os arquivos de log usando SSH para se conectar ao nó primário e navegar até o /mnt/var/lib/ganglia/rrds/ diretório. No EMR 3.x, navegue até o diretório /var/log/ganglia/rrds. Para obter mais informações, consulte Connect to the primary node using SSH no Guia de gerenciamento do Amazon EMR.

Visualizar arquivos de log do Ganglia no Amazon S3

  • Os arquivos de log do Ganglia não são gravados automaticamente no Amazon S3 mesmo se você habilitar o registro em log para seu cluster. Para visualizar os arquivos de log do Ganglia no Amazon S3, envie manualmente os logs do /mnt/var/lib/ganglia/rrds/ para o bucket do S3.