Configurazione dell'hardware e della rete del EMR cluster Amazon - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione dell'hardware e della rete del EMR cluster Amazon

Una considerazione importante quando si crea un EMR cluster Amazon è il modo in cui si configurano EC2 le istanze Amazon e le opzioni di rete. In questo capitolo vengono descritte le seguenti opzioni e vengono illustrate le best practice e linee guida per tutte queste opzioni.

  • Tipi di nodi: EC2 le istanze Amazon in un EMR cluster sono organizzate in tipi di nodi. Esistono tre tipi di nodi: nodi primari, nodi core e nodi attività. Ogni tipo di nodo esegue un set di ruoli definiti dalle applicazioni distribuite installate sul cluster. Durante un job Hadoop MapReduce o Spark, ad esempio, i componenti sui nodi core e task elaborano i dati, trasferiscono l'output su Amazon S3 o HDFS forniscono i metadati di stato al nodo primario. Con un cluster a nodo singolo, tutti i componenti vengono eseguiti sul nodo primario. Per ulteriori informazioni, consulta Comprendi i tipi di nodi in AmazonEMR: nodi primari, core e task.

  • EC2istanze: quando crei un cluster, fai delle scelte sulle EC2 istanze Amazon su cui verrà eseguito ogni tipo di nodo. Il tipo di EC2 istanza determina il profilo di elaborazione e archiviazione del nodo. La scelta dell'EC2istanza Amazon per i tuoi nodi è importante perché determina il profilo prestazionale dei singoli tipi di nodi nel cluster. Per ulteriori informazioni, consulta Configura i tipi di EC2 istanze Amazon da utilizzare con Amazon EMR.

  • Rete: puoi avviare il tuo EMR cluster Amazon VPC utilizzando una sottorete pubblica, una sottorete privata o una sottorete condivisa. La configurazione di rete determina il modo in cui i clienti e i servizi possono connettersi ai cluster per eseguire il lavoro, il modo in cui i cluster si connettono agli archivi dati e ad altre risorse AWS e le opzioni disponibili per controllare il traffico su tali connessioni. Per ulteriori informazioni, consulta Configura il networking in un VPC per Amazon EMR.

  • Raggruppamento di istanze: la raccolta di EC2 istanze che ospitano ogni tipo di nodo viene chiamata flotta di istanze o gruppo di istanze uniforme. La scelta se configurare o meno i gruppi di istanze viene fatta quando si crea un cluster, Questa scelta determina il modo in cui è possibile aggiungere nodi al cluster mentre è in esecuzione. La configurazione si applica a tutti i tipi di nodo. In seguito non può più essere modificata. Per ulteriori informazioni, consulta Crea un EMR cluster Amazon con flotte di istanze o gruppi di istanze uniformi.

    Nota

    La configurazione delle flotte di istanze è disponibile solo nelle EMR versioni di Amazon 4.8.0 e successive, escluse le versioni 5.0.0 e 5.0.3.