Crea un EMR cluster Amazon con flotte di istanze o gruppi di istanze uniformi

Quando si crea un cluster e si specifica la configurazione del nodo primario, dei nodi core e dei nodi attività, sono disponibili due opzioni di configurazione. Puoi utilizzare parchi istanze o gruppi di istanze uniformi. L'opzione di configurazione scelta si applica a tutti i nodi, vale per la durata del cluster e i parchi istanze e gruppi di istanze non possono coesistere in un cluster. La configurazione delle flotte di istanze è disponibile nella EMR versione Amazon 4.8.0 e successive, escluse le versioni 5.0.x.

Puoi utilizzare la EMR console Amazon AWS CLI, o Amazon EMR API per creare cluster con entrambe le configurazioni. Quando utilizzi il comando create-cluster di AWS CLI, puoi utilizzare i parametri --instance-fleets per creare il cluster utilizzando parchi istanze o, in alternativa, puoi utilizzare i parametri --instance-groups per crearlo utilizzando gruppi di istanze uniformi.

Lo stesso vale per l'utilizzo di Amazon EMRAPI. Utilizza la configurazione InstanceGroups per specificare una matrice di oggetti InstanceGroupConfig, oppure utilizza la configurazione InstanceFleets per specificare una matrice di oggetti InstanceFleetConfig.

Nella nuova EMR console Amazon, puoi scegliere di utilizzare gruppi di istanze o flotte di istanze quando crei un cluster e hai la possibilità di utilizzare le istanze Spot con ciascuno di essi. Con la vecchia EMR console Amazon, se utilizzi le impostazioni Quick Options predefinite quando crei il cluster, Amazon EMR applica la configurazione dei gruppi di istanze uniformi al cluster e utilizza le istanze On-Demand. Per utilizzare istanze Spot con gruppi di istanze uniformi o per configurare parchi istanze e altre personalizzazioni, scegli Advanced Options (Opzioni avanzate).

Parchi istanze

La configurazione delle flotte di istanze offre la più ampia varietà di opzioni di provisioning per le istanze Amazon. EC2 Ogni tipo di nodo dispone di un singolo parco istanze e l'utilizzo di un parco istanze dell'attività è opzionale. Puoi specificare fino a cinque tipi di EC2 istanze per flotta o 30 tipi di EC2 istanze per flotta quando crei un cluster utilizzando Amazon EMR API e una strategia di allocazione per istanze On-Demand e Spot. AWS CLI Per i parchi istanze principali e attività, puoi assegnare una capacità target per istanze on demand e un'altra per istanze Spot. Amazon EMR sceglie una combinazione qualsiasi dei tipi di istanze specificati per soddisfare le capacità previste, fornendo istanze On-Demand e Spot.

Per il tipo di nodo principale, Amazon EMR sceglie un singolo tipo di istanza dal tuo elenco di istanze e tu specifica se deve essere fornito come istanza On-Demand o Spot. I parchi istanze offrono anche opzioni aggiuntive per gli acquisti di istanze Spot e on demand. Le opzioni di istanza Spot includono un timeout che specifica un'azione da eseguire se non è possibile assegnare la capacità Spot e una strategia di allocazione preferita (ottimizzata per la capacità) per avviare i parchi di istanze Spot. I parchi di istanze on demand possono anche essere avviati utilizzando la strategia di allocazione (prezzo più basso). Se utilizzi un ruolo di servizio che non è il ruolo di servizio EMR predefinito o utilizzi una policy EMR gestita nel tuo ruolo di servizio, devi aggiungere autorizzazioni aggiuntive al ruolo di servizio del cluster personalizzato per abilitare l'opzione della strategia di allocazione. Per ulteriori informazioni, consulta Ruolo di servizio per Amazon EMR (EMRruolo).

Per ulteriori informazioni sulla configurazione dei parchi istanze, consulta Pianificazione e configurazione di flotte di istanze per il tuo cluster Amazon EMR.

Gruppi di istanze uniformi

I gruppi di istanze uniformi offrono una configurazione più semplice rispetto ai parchi istanze. Ogni EMR cluster Amazon può includere fino a 50 gruppi di istanze: un gruppo di istanze primario che contiene un'EC2istanza Amazon, un gruppo di istanze core che contiene una o più EC2 istanze e fino a 48 gruppi di istanze di attività opzionali. Ogni gruppo di istanze core e task può contenere un numero qualsiasi di EC2 istanze Amazon. Puoi scalare ogni gruppo di istanze aggiungendo e rimuovendo EC2 istanze Amazon manualmente oppure puoi configurare il ridimensionamento automatico. Per informazioni sull'aggiunta e la rimozione di istanze, consulta Usa Amazon EMR Cluster Scaling per adattarti ai carichi di lavoro in continua evoluzione.

Per ulteriori informazioni sulla configurazione di gruppi di istanze uniformi, consulta Configura gruppi di istanze uniformi per il tuo EMR cluster Amazon.

Utilizzo di parchi istanze e gruppi di istanze