As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Detalhes da aplicação HBase para versões anteriores da AMI do Amazon EMR

Versões compatíveis com o HBase

Pré-requisitos de clusters do HBase

Um cluster criado usando as versões 2.x e 3.x da AMI do Amazon EMR deve atender aos requisitos a seguir para o HBase.

Criar um cluster com o HBase

A tabela a seguir lista as opções que estão disponíveis ao ser usado o console para criar um cluster com o HBase usando uma versão da AMI do Amazon EMR.

O exemplo de AWS CLI comando a seguir inicia um cluster com o HBase e outros aplicativos:

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
               --applications Name=Hue Name=Hive Name=Pig Name=HBase \
               --use-default-roles --ec2-attributes KeyName=myKey \
               --instance-type c1.xlarge --instance-count 3 --termination-protected

Uma vez estabelecida a conexão entre os clusters Hive e HBase (conforme mostrado no procedimento anterior), você pode acessar os dados armazenados no cluster HBase, criando uma tabela externa no Hive.

O exemplo a seguir, quando executado no prompt do Hive, cria uma tabela externa que faz referência a dados armazenados em uma tabela do HBase chamada de inputTable. Você pode fazer referência a inputTable em instruções do Hive para consultar e modificar dados armazenados no cluster HBase.

add jar lib/emr-metrics-1.0.jar ;
               add jar lib/protobuf-java-2.4.0a.jar ;
               
               set hbase.zookeeper.quorum=ec2-107-21-163-157.compute-1.amazonaws.com ;
               
               create external table inputTable (key string, value string)
                    stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
                     with serdeproperties ("hbase.columns.mapping" = ":key,f1:col1")
                     tblproperties ("hbase.table.name" = "t1");
               
               select count(*) from inputTable ;		

Personalizar a configuração do HBase

Embora as configurações padrão devam funcionar para a maioria dos aplicativos, você tem a flexibilidade de modificar suas definições de configuração do HBase. Para fazer isso, execute um dos dois scripts de ação de bootstrap:

Ao executar as ações de bootstrap configure-hbase ou configure-hbase-daemons, os valores especificados substituem os valores padrão. Todos os valores não explicitamente definidos recebem os valores padrão.

Configurar o HBase com essas ações de bootstrap é semelhante ao uso de ações de bootstrap no Amazon EMR para definir configurações do Hadoop e propriedades de daemons do Hadoop. A diferença é que o HBase não tem opções de memória por processo. Em vez disso, as opções de memória são definidas usando o --daemon-opts argumento, onde daemon é substituído pelo nome do daemon a ser configurado.

Configurar daemons do HBase

O Amazon EMR fornece uma ação de bootstraps3://region.elasticmapreduce/bootstrap-actions/configure-hbase-daemons, que você pode usar para alterar a configuração dos daemons do HBase, onde region é a região na qual você está lançando seu cluster HBase.

Para configurar daemons do HBase usando o AWS CLI, adicione a ação configure-hbase-daemons bootstrap ao iniciar o cluster para configurar um ou mais daemons do HBase. É possível definir as seguintes propriedades.

Para obter mais informações sobre essas opções, consulte hbase-env.sh na documentação do HBase.

O exemplo a seguir mostra uma ação de bootstrap para configurar valores para zookeeper-opts e hbase-master-opts.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-daemons,\
Args=["--hbase-zookeeper-opts=-Xmx1024m -XX:GCTimeRatio=19","--hbase-master-opts=-Xmx2048m","--hbase-regionserver-opts=-Xmx4096m"]

Definir configurações de local do HBase

O Amazon EMR fornece uma ação de bootstrap, s3://elasticmapreduce/bootstrap-actions/configure-hbase, que você pode usar para alterar a configuração do HBase. Você pode definir valores de configuração um por um, como argumentos na ação de bootstrap, ou pode especificar o local de um arquivo de configuração XML no Amazon S3. Definir valores de configuração um por um é útil se você só precisa definir algumas definições de configuração. Defini-los usando um arquivo XML é útil quando há muitas mudanças por fazer, ou se você deseja salvar as definições de configuração para reutilização.

Essa ação de bootstrap modifica o arquivo de configuração /home/hadoop/conf/hbase-site.xml no cluster HBase. A ação de bootstrap pode ser executada somente quando o cluster HBase é executado.

Para obter mais informações sobre as configurações de local do HBase que você pode definir, consulte Configuração padrão na documentação do HBase.

Defina a ação de bootstrap configure-hbase ao executar o cluster HBase e especifique os valores em hbase-site.xml a serem alterados.

Com o proxy definido e a conexão SSH aberta, você pode visualizar a interface do usuário do HBase abrindo uma janela do navegador com http://master-public-dns-name: 60010/master -status, onde master-public-dns-name está o endereço DNS público do nó principal no cluster do HBase.

Você pode visualizar os logs do HBase atuais usando o SSH para conectar-se ao nó principal e navegando até o diretório mnt/var/log/hbase. Esses logs não estão disponíveis depois que o cluster é encerrado, a menos que você habilite o registro em log no Amazon S3 quando o cluster for iniciado.

Fazer o backup e a restauração do HBase

O Amazon EMR fornece a capacidade de fazer backup dos dados do HBase para o Amazon S3 manualmente ou em uma programação automatizada. Você pode executar backups completos e incrementais. Quando tiver uma versão de backup dos dados do HBase, você poderá restaurar essa versão para um cluster HBase. A restauração pode ser feita para um cluster HBase em execução, ou é possível executar um novo cluster pré-populado com os dados de backup.

Durante o processo de backup, o HBase continua a executar comandos de gravação. Embora isso garanta que o cluster permanecerá disponível durante o backup, existe o risco de inconsistência entre os dados que estão sendo copiados para backup e quaisquer operações de gravação que estejam sendo executadas em paralelo. Para entender as inconsistências que podem surgir, você precisa considerar que o HBase distribui operações de gravação por todos os nós do seu cluster. Se uma operação de gravação acontecer depois que um nó específico for sondado, esses dados não serão incluídos no arquivamento de backup. Você pode até descobrir que gravações anteriores no cluster HBase (enviadas para um nó que já foi sondado) podem não estar no arquivamento de backup, enquanto gravações posteriores (enviadas para um nó antes da sondagem) estão incluídas.

Se um backup consistente for necessário, você deverá pausar as gravações no HBase durante a parte inicial do processo de backup: a sincronização entre os nós. Isso pode ser feito especificando o parâmetro --consistent ao solicitar um backup. Com esse parâmetro, as gravações durante esse período são enfileiradas e executadas logo após a conclusão da sincronização. Você também pode agendar backups recorrentes, que resolvem quaisquer inconsistências com o passar do tempo, conforme os dados perdidos em uma passagem são copiados para backup na passagem seguinte.

Ao fazer o backup dos dados do HBase, você deve especificar um diretório de backup diferente para cada cluster. Uma maneira fácil de fazer isso é usar o identificador de cluster como parte do caminho especificado para o diretório de backup. Por exemplo, .s3://amzn-s3-demo-bucket/backups/j-3AEXXXXXX16F2 Isso garante que todos os backups incrementais futuros façam referência ao cluster HBase correto.

Quando estiver pronto para excluir arquivos de backup antigos que não são mais necessários, recomendamos que você primeiro faça um backup completo dos seus dados do HBase. Isso garante que todos os dados sejam preservados e fornece uma base para futuros backups incrementais. Terminado o backup completo, você pode navegar até o local do backup e excluir manualmente os arquivos de backup antigos.

O processo de backup do HBase é usado S3DistCp para a operação de cópia, que tem certas limitações em relação ao espaço de armazenamento temporário de arquivos.

Fazer o backup e a restauração do HBase usando o console

O console fornece a capacidade de executar um novo cluster e populá-lo com dados de um backup anterior do HBase. Ele também oferece a capacidade de agendar backups incrementais periódicos de dados do HBase. Funcionalidades adicionais de backup e restauração, como a capacidade de restaurar dados para um cluster já em execução, fazer backups manuais e agendar backups completos automatizados, estão disponíveis usando a CLI.

Monitore o HBase com CloudWatch

O Amazon EMR relata três métricas CloudWatch que você pode usar para monitorar seus backups do HBase. Essas métricas são enviadas CloudWatch em intervalos de cinco minutos e são fornecidas gratuitamente.

Configurar o Ganglia para HBase

Você configura o Ganglia para o HBase usando a ação de bootstrap configure-hbase-for-ganglia. Essa ação de bootstrap configura o HBase para publicar métricas no Ganglia.

Você deve configurar o HBase e o Ganglia ao executar o cluster. Relatórios do Ganglia não podem ser adicionados a um cluster em execução.

O Ganglia também armazena arquivos de log no servidor em /mnt/var/log/ganglia/rrds. Se você tiver configurado o cluster para manter a persistência dos arquivos de log em um bucket do Amazon S3, os arquivos de log do Ganglia serão mantidos lá também.

Para iniciar um cluster com o Ganglia para o HBase, use a ação de bootstrap configure-hbase-for-ganglia, conforme mostrado no exemplo a seguir.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase Name=Ganglia \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-for-ganglia

Depois que o cluster é executado com o Ganglia configurado, você pode acessar os gráficos e relatórios do Ganglia usando a interface gráfica em execução no nó principal.