Registros de gravação antecipada (WAL) para Amazon EMR - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Registros de gravação antecipada (WAL) para Amazon EMR

Com o Amazon EMR 6.15 e versões posteriores, você pode gravar seus registros de HBase gravação antecipada do Apache () WAL na Amazon. EMR WAL Com EMR versões mais baixas da Amazon, quando você cria um cluster com a opção HBaseno Amazon S3, WAL é o único HBase componente Apache que é armazenado no disco local para clusters, e você pode armazenar outros componentes, como o diretório raiz, armazenar arquivos (HFiles), metadados de tabelas e dados no Amazon S3.

Você pode usar EMR WAL a Amazon para recuperar dados que não foram transferidos para o Amazon S3. Para fazer backup completo de seus HBase clusters, opte por usar o EMR WAL serviço da Amazon. Nos bastidores, RegionServer grava seus registros HBase de gravação antecipada (WAL) no para a WAL Amazon. EMR

Caso seu cluster ou o AZ não estejam íntegros ou estejam indisponíveis, você pode criar um novo cluster, direcioná-lo para o mesmo diretório raiz do S3 e para o mesmo EMR WAL espaço de trabalho da Amazon e recuperar automaticamente os dados em alguns WAL minutos. Para obter mais informações, consulte Restaurando da Amazon EMR WAL.

A partir das EMR versões 7.3.0 e superiores da Amazon, a Amazon EMR cria várias EMR WALs para cada servidor e agrupa várias HBase regiões em uma Amazon EMRWAL. Isso aprimora o Apache HBase WAL para melhorar a utilização dos registros e otimizar os custos. Para configurar o número de EMR WAL instâncias da Amazon por HBaseRegionServer, use o parâmetrohbase.wal.regiongrouping.numgroups. Por padrão, esse parâmetro é definido como 2.

Se você executar uma versão inferior à Amazon EMR 7.3.0, recomendamos que você desative manualmente as tabelas no HBase cluster antigo para garantir que todos os dados na Amazon sejam EMR WAL liberados para o Amazon S3. Em seguida, exclua a Amazon antiga EMRWAL, encerre o cluster antigo e configure um novo cluster que execute a versão mais recente. Se você tiver problemas e não conseguir desabilitar as tabelas no cluster antigo, poderá encerrar diretamente o cluster antigo e definir emr.wal.multiplex.migrate como true no novo cluster. Se definido como verdadeiro, HBase tentará reproduzir os dados de EMR WAL instâncias antigas da Amazon durante a inicialização da HBase região e excluir os antigos WALs após a repetição. Esse processo de reprodução gera custos adicionais para leituras. Após a migração, recomendamos configurar o cluster e definir emr.wal.multiplex.migrate como false. Como alternativa, você pode remover o parâmetro para acelerar a inicialização HBase da região.

nota

A Amazon EMR WAL exclui os dados depois de HBase liberá-los. Se HBase não liberar os dados, a Amazon EMR WAL retém os dados por no máximo 30 dias. Depois de 30 dias, a Amazon exclui EMR WAL automaticamente os dados. A Amazon EMR mantém WAL as instâncias por até 30 dias a partir do momento em que você encerra um EMR cluster. No entanto, se você iniciar um novo cluster WAL habilitado a partir do mesmo diretório raiz do S3 dentro desses 30 dias, a Amazon EMR não excluirá nenhuma das WAL instâncias do seu cluster anterior. Para obter mais informações, consulte Restaurando da Amazon EMR WAL.

As seções a seguir descrevem como configurar e usar a Amazon EMR WAL com seu EMR cluster HBase habilitado.

Tópicos