Habilitando o Amazon EMR WAL - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Habilitando o Amazon EMR WAL

Use as etapas a seguir para habilitar a gravação no Amazon EMR WAL ao criar um cluster com o. AWS Command Line Interface

nota

Você não pode habilitar o Amazon EMR WAL para um cluster que já está em execução e não pode iniciar dois clusters com o mesmo diretório raiz do S3. Para ter mais informações, consulte Considerações e regiões para o Amazon EMR WAL.

  1. Antes de criar um cluster habilitado para Amazon EMR WAL, você deve adicionar as permissões necessárias ao perfil de instância que planeja usar com seu cluster. Para ter mais informações, consulte Permissões necessárias para o Amazon EMR WAL.

  2. Crie um cluster a partir do AWS CLI. Use a --configurations opção para fornecer um objeto de configuração JSON que especifique a hbase.emr.wal.enabled propriedade, conforme mostrado no exemplo abaixo.

    • Especifique o modo de armazenamento e a localização do diretório raiz no Amazon S3. A localização do Amazon S3 que você especificar deve estar na mesma região do seu cluster EMR, mas somente um cluster ativo pode usar o mesmo diretório raiz do HBase no S3 por vez.

    • Crie seu cluster com a configuração de grupos de instâncias. Você não pode usar o Amazon EMR WAL com a configuração de frotas de instâncias. Para obter mais informações sobre a criação de clusters com grupos de instâncias, consulte Configurar grupos de instâncias uniformes no Guia de gerenciamento do Amazon EMR.

    • Para ver as etapas do console para criar um cluster e um create-cluster exemplo detalhado que usa o AWS CLI, consulte Criação de um cluster com o HBase.

  3. Para habilitar o WAL para o novo cluster, defina a hbase.emr.wal.enabled true propriedade como. O comando a seguir contém um trecho JSON com um exemplo de objeto de configuração.

    aws emr create-cluster --name "hbasewal" --release-label emr-6.x.y \
--applications Name=HBase --use-default-roles --ec2-attributes KeyName=myKey \
--instance-type m6i.xlarge --instance-count 1 --configurations hbase.json
$cat hbase.json
[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://MyBucket/MyHBaseStore"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]

Quando o HBase estiver on-line no cluster recém-criado, o HBase gravará automaticamente os dados do WAL no Amazon EMR WAL e usará o Amazon EMR WAL para fins de recuperação.

exemplo 1: Criação de um cluster do EMR que usa o Amazon EMR WAL
[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://MyBucket/MyHBaseStore"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]
exemplo 2: Criando um cluster EMR com um espaço de trabalho WAL personalizado
[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://MyBucket/MyHBaseStore",
            "emr.wal.workspace": "customWorkspaceName"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]