Configurar o hardware e a rede do EMR cluster da Amazon

Tipos de nós — EC2 As instâncias da Amazon em um EMR cluster são organizadas em tipos de nós. Existem três: nós primários, nós centrais e nós de tarefa. Cada tipo de nó realiza um conjunto de funções definidas pelos aplicativos distribuídos que você instala no cluster. Durante um trabalho do Hadoop MapReduce ou do Spark, por exemplo, componentes nos nós principais e de tarefas processam dados, transferem a saída para o Amazon S3 ou HDFS fornecem metadados de status de volta ao nó primário. Com um cluster de nó único, todos os componentes são executados no nó primário. Para obter mais informações, consulte Entenda os tipos de nós na AmazonEMR: nós primários, principais e de tarefas.

EC2instâncias — Ao criar um cluster, você faz escolhas sobre as EC2 instâncias da Amazon nas quais cada tipo de nó será executado. O tipo de EC2 instância determina o perfil de processamento e armazenamento do nó. A escolha da EC2 instância da Amazon para seus nós é importante porque determina o perfil de desempenho dos tipos de nós individuais em seu cluster. Para obter mais informações, consulte Configurar tipos de EC2 instância da Amazon para uso com a Amazon EMR.

Rede — Você pode iniciar seu EMR cluster da Amazon VPC usando uma sub-rede pública, uma sub-rede privada ou uma sub-rede compartilhada. A configuração de redes determina como clientes e serviços podem se conectar aos clusters para realizar o trabalho, como os clusters se conectam aos armazenamentos de dados e outros recursos da AWS e as opções que você tem para controlar o tráfego nessas conexões. Para obter mais informações, consulte Configurar a rede em um VPC para a Amazon EMR.

Agrupamento de instâncias — o conjunto de EC2 instâncias que hospedam cada tipo de nó é chamado de frota de instâncias ou grupo de instâncias uniforme. A configuração de agrupamento de instâncias é uma escolha que deve ser feita ao criar um cluster. Essa escolha determina como você poderá adicionar nós ao cluster enquanto ele estiver em execução. A configuração se aplica a todos os tipos de nó. Não é possível alterá-lo mais tarde. Para obter mais informações, consulte Crie um EMR cluster da Amazon com frotas de instâncias ou grupos de instâncias uniformes.