Crea un cluster Amazon EMR con flotte di istanze o gruppi di istanze uniformi

Quando si crea un cluster e si specifica la configurazione del nodo primario, dei nodi core e dei nodi attività, sono disponibili due opzioni di configurazione. Puoi utilizzare parchi istanze o gruppi di istanze uniformi. L'opzione di configurazione scelta si applica a tutti i nodi, vale per la durata del cluster e i parchi istanze e gruppi di istanze non possono coesistere in un cluster. La configurazione di parchi istanze è disponibile in Amazon EMR versione 4.8.0 e successive, escluse le versioni 5.0.x.

Puoi utilizzare la console Amazon EMR AWS CLI, o l'API Amazon EMR per creare cluster con entrambe le configurazioni. Quando utilizzi il comando create-cluster di AWS CLI, puoi utilizzare i parametri --instance-fleets per creare il cluster utilizzando parchi istanze o, in alternativa, puoi utilizzare i parametri --instance-groups per crearlo utilizzando gruppi di istanze uniformi.

Lo stesso vale utilizzando l'API Amazon EMR. Utilizza la configurazione InstanceGroups per specificare una matrice di oggetti InstanceGroupConfig, oppure utilizza la configurazione InstanceFleets per specificare una matrice di oggetti InstanceFleetConfig.

Nella nuova console Amazon EMR, puoi scegliere di utilizzare gruppi di istanze o parchi istanze quando crei un cluster e hai la possibilità di utilizzare le istanze spot con ciascuno di essi. Nella vecchia console Amazon EMR, se utilizzi le impostazioni Quick Options (Opzioni rapide) predefinite quando crei un cluster, Amazon EMR applica al cluster la configurazione dei gruppi di istanze uniformi e utilizza le istanze on demand. Per utilizzare istanze Spot con gruppi di istanze uniformi o per configurare parchi istanze e altre personalizzazioni, scegli Advanced Options (Opzioni avanzate).

Parchi istanze

La configurazione delle flotte di istanze offre la più ampia varietà di opzioni di provisioning per le istanze Amazon. EC2 Ogni tipo di nodo dispone di un singolo parco istanze e l'utilizzo di un parco istanze dell'attività è opzionale. Puoi specificare fino a cinque tipi di EC2 istanze per flotta o 30 tipi di EC2 istanze per flotta quando crei un cluster utilizzando l'API AWS CLI o Amazon EMR e una strategia di allocazione per istanze On-Demand e Spot. Per i parchi istanze principali e attività, puoi assegnare una capacità target per istanze on demand e un'altra per istanze Spot. Amazon EMR sceglie qualsiasi combinazione dei tipi di istanze specificati per raggiungere le capacità target, eseguendo il provisioning sia delle istanze on demand che Spot.

Per il tipo di nodo primario, Amazon EMR consente di scegliere un singolo tipo di istanza dall'elenco e di specificare se è stato effettuato il provisioning come un'istanza on demand o spot. I parchi istanze offrono anche opzioni aggiuntive per gli acquisti di istanze Spot e on demand. Le opzioni di istanza Spot includono un timeout che specifica un'azione da eseguire se non è possibile assegnare la capacità Spot e una strategia di allocazione preferita (ottimizzata per la capacità) per avviare i parchi di istanze Spot. I parchi di istanze on demand possono anche essere avviati utilizzando la strategia di allocazione (prezzo più basso). Se si utilizza un ruolo di servizio che non è il ruolo di servizio predefinito EMR o si utilizza una policy gestita da EMR nel ruolo del servizio, è necessario aggiungere autorizzazioni aggiuntive al ruolo del servizio cluster personalizzato per abilitare la strategia di allocazione. Per ulteriori informazioni, consulta Ruolo di servizio per Amazon EMR (ruolo EMR).

Per ulteriori informazioni sulla configurazione dei parchi istanze, consulta Pianificazione e configurazione di flotte di istanze per il tuo cluster Amazon EMR.

Gruppi di istanze uniformi

I gruppi di istanze uniformi offrono una configurazione più semplice rispetto ai parchi istanze. Ogni cluster Amazon EMR può includere fino a 50 gruppi di istanze: un gruppo di istanze primario che contiene un' EC2 istanza Amazon, un gruppo di istanze core che contiene una o più EC2 istanze e fino a 48 gruppi di istanze di task opzionali. Ogni gruppo di istanze core e task può contenere un numero qualsiasi di EC2 istanze Amazon. Puoi scalare ogni gruppo di istanze aggiungendo e rimuovendo EC2 istanze Amazon manualmente oppure puoi configurare il ridimensionamento automatico. Per informazioni sull'aggiunta e la rimozione di istanze, consulta Usa la scalabilità dei cluster Amazon EMR per adattarti ai carichi di lavoro in continua evoluzione.

Per ulteriori informazioni sulla configurazione di gruppi di istanze uniformi, consulta Configura gruppi di istanze uniformi per il tuo cluster Amazon EMR.

Utilizzo di parchi istanze e gruppi di istanze