Clusters EMR em zonas locais da AWS - Amazon EMR

Clusters EMR em zonas locais da AWS

A partir da versão 5.28.0 do Amazon EMR, é possível criar e executar clusters do Amazon EMR em uma sub-rede de zonas locais da AWS como uma extensão lógica de uma região da AWS que ofereça suporte a zonas locais. Uma zona local permite que os atributos do Amazon EMR e uma sub-rede de serviços da AWS, como serviços de computação e armazenamento, estejam localizados mais próximos dos usuários para fornecer acesso com latência muito baixa a aplicações executadas localmente. Para obter uma lista das zonas locais disponíveis, consulte Zonas locais da AWS. Para obter informações sobre como acessar zonas locais da AWS disponíveis, consulte Regiões, zonas de disponibilidade e zonas locais.

Tipos de instâncias compatíveis

Os tipos de instância a seguir estão disponíveis para clusters do Amazon EMR em zonas locais. A disponibilidade do tipo de instância pode variar de acordo com a região.

Classe de instância Tipos de instância
Propósito geral m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge
Otimizada para computação c5.xlarge | c5.2xlarge | c5.4xlarge | c5.9xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge| c5d.9xlarge | c5d.18xlarge
Otimizada para memória r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge
Otimizada para armazenamento i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Criar um cluster do Amazon EMR em zonas locais

Crie um cluster do Amazon EMR em zonas locais da AWS iniciando o cluster do Amazon EMR em uma sub-rede da Amazon VPC associada a uma zona local. É possível acessar o cluster usando o nome da zona local, como us-west-2-lax-1a, no console da região Oeste dos EUA (Oregon).

No momento, as zonas locais não oferecem suporte a Cadernos do Amazon EMR nem a conexões diretas com o Amazon EMR usando o endpoint da VPC de interface (AWS PrivateLink).

Console
Para criar um cluster em uma zona local usando o console
  1. Faça login no AWS Management Console e abra o console do Amazon EMR em https://console.aws.amazon.com/emr.

  2. Em EMR no EC2, no painel de navegação esquerdo, escolha Clusters e depois Criar cluster.

  3. Em Rede, selecione uma sub-rede do EC2 com um ID de zona local neste formato: 123abc | us-west-2-lax-1a.

  4. Escolha o tipo de instância ou adicione volumes de armazenamento do Amazon EBS aos grupos de instâncias uniformes ou frotas de instâncias.

  5. Escolha qualquer outra opção que se aplique ao cluster.

  6. Para iniciar o cluster, escolha Criar cluster.

CLI
Criar um cluster em uma zona local usando a AWS CLI
  • Use o comando create-cluster com o SubnetId para a zona local conforme mostrado no exemplo a seguir. Substitua subnet-22XXXX1234567 com o SubnetId da zona local e substitua outras opções conforme necessário. Para ter mais informações, consulte https://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html.

    aws emr create-cluster \ --name "Local Zones cluster" \ --release-label emr-5.29.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey,SubnetId=subnet-22XXXX1234567 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles