Uso del dimensionamento del cluster - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Uso del dimensionamento del cluster

Puoi regolare il numero di EC2 istanze Amazon disponibili per un EMR cluster Amazon automaticamente o manualmente in risposta a carichi di lavoro con esigenze diverse. Per utilizzare il dimensionamento automatico, sono disponibili due opzioni. Puoi abilitare Amazon EMR Managed Scaling o creare una policy di scalabilità automatica personalizzata. La tabella seguente descrive le differenze tra le due opzioni.

Scalabilità EMR gestita da Amazon Dimensionamento automatico personalizzato

Policy e regole di dimensionamento

Non è richiesta alcuna policy. Amazon EMR gestisce l'attività di scalabilità automatica valutando continuamente le metriche del cluster e prendendo decisioni di scalabilità ottimizzate.

È necessario definire e gestire le policy e le regole di dimensionamento automatico, ad esempio le condizioni specifiche che attivano le attività di dimensionamento, i periodi di valutazione, i periodi di attesa e così via.

EMRVersioni Amazon supportate

Amazon EMR versione 5.30.0 e successive (eccetto la EMR versione Amazon 6.0.0)

Amazon EMR versione 4.0.0 e successive

Composizione cluster supportata

Gruppi di istanze o parchi istanze

Solo gruppi di istanze

Configurazione dei limiti di dimensionamento

I limiti di dimensionamento sono configurati per l'intero cluster.

I limiti di dimensionamento possono essere configurati solo per ogni gruppo di istanze.

Frequenza di valutazione dei parametri

Ogni 5-10 secondi

Una valutazione più frequente delle metriche consente EMR ad Amazon di prendere decisioni di scalabilità più precise.

È possibile definire i periodi di valutazione solo in incrementi di cinque minuti.

Applicazioni supportate

Sono supportate solo YARN le applicazioni, come Spark, Hadoop, Hive, Flink. Amazon EMR managed scaling non supporta applicazioni che non sono basate suYARN, come Presto oHBase.

È possibile scegliere quali applicazioni sono supportate quando si definiscono le regole di dimensionamento automatico.

Considerazioni

  • Un EMR cluster Amazon comprende sempre uno o tre nodi primari. Una volta configurato inizialmente il cluster, è possibile dimensionare solo i nodi principali e i nodi attività. Non è possibile dimensionare il numero di nodi primari per il cluster.

  • Per i gruppi di istanze, le operazioni di riconfigurazione e le operazioni di ridimensionamento avvengono consecutivamente e non contemporaneamente. Se si avvia una riconfigurazione durante il ridimensionamento di un gruppo di istanze, la riconfigurazione inizia quando il gruppo di istanze completa il ridimensionamento in corso. Al contrario, se si avvia un'operazione di ridimensionamento mentre un gruppo di istanze ne esegue la riconfigurazione.