As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Monitor HBase com Ganglia
nota
A última versão do Amazon EMR a incluir o Ganglia foi o Amazon EMR 6.15.0. Para monitorar seu cluster, versões superiores à 6.15.0 incluem o agente Amazon CloudWatch .
O projeto de código-fonte aberto Ganglia é um sistema distribuído e escalável, projetado para monitorar clusters e grades e, ao mesmo tempo, minimizar o impacto sobre o seu desempenho. Quando você habilita o Ganglia no seu cluster, pode gerar relatórios e visualizar o desempenho do cluster como um todo, bem como inspecionar o desempenho de instâncias de nós individuais. Para obter mais informações sobre o projeto de código-fonte aberto Ganglia, consulte http://ganglia.info/
Depois que o cluster é iniciado com o Ganglia configurado, você pode acessar os gráficos e relatórios do Ganglia usando a interface gráfica em execução no nó primário.
O Ganglia armazena arquivos de log no nó primário no diretório /mnt/var/lib/ganglia/rrds/. Versões anteriores do Amazon EMR podem armazenar arquivos de log no /var/log/ganglia/rrds/ diretório.
Para configurar um cluster para o Ganglia e usar o HBase AWS CLI
-
Use um comando
create-clustersemelhante ao seguinte:aws emr create-cluster --name "Test cluster" --release-labelemr-7.8.0\ --applications Name=HBaseName=Ganglia--use-default-roles \ --ec2-attributes KeyName=myKey--instance-typem5.xlarge\ --instance-count3nota
Se a função de serviço padrão do Amazon EMR e o perfil de EC2 instância da Amazon não existirem, ocorrerá um erro. Use o comando
aws emr create-default-rolespara criá-los e, em seguida, tente novamente.Para obter mais informações, consulte os comandos do Amazon EMR na AWS CLI.
Para visualizar HBase métricas na interface web do Ganglia
-
Use o SSH para formar um túnel até o nó primário e criar uma conexão segura. Para obter mais informações, consulte Opção 2, parte 1: configurar um túnel SSH para o nó primário usando o encaminhamento dinâmico de portas no Guia de gerenciamento do Amazon EMR.
-
Instale um navegador da Web com uma ferramenta de proxy, como o FoxyProxy plug-in do Firefox, para criar um proxy SOCKS para AWS domínios. Para obter mais informações, consulte Opção 2, parte 2: Definir configurações de proxy para visualizar sites hospedados no nó primário no Guia de gerenciamento do Amazon EMR.
-
Com o proxy definido e a conexão SSH aberta, você pode visualizar as métricas do Ganglia abrindo uma janela do navegador com http://
master-public-dns-name/ganglia/, ondemaster-public-dns-nameestá o endereço DNS público do servidor mestre no cluster. HBase
Para exibir arquivos de log do Ganglia no nó central
-
Se o cluster ainda estiver em execução, você poderá acessar os arquivos de log usando o SSH para se conectar ao nó primário e navegar até o diretório
/mnt/var/lib/ganglia/rrds/. No EMR 3.x, navegue até o diretório/var/log/ganglia/rrds. Para obter mais informações, consulte Connect to the primary node using SSH no Guia de gerenciamento do Amazon EMR.
Visualizar arquivos de log do Ganglia no Amazon S3
-
Os arquivos de log do Ganglia não são gravados automaticamente no Amazon S3 mesmo se você habilitar o registro em log para seu cluster. Para visualizar os arquivos de log do Ganglia no Amazon S3, envie manualmente os logs do
/mnt/var/lib/ganglia/rrds/para o bucket do S3.
