Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Opzioni di scalabilità verso il basso per i cluster Amazon EMR

Con le EMR versioni di Amazon dalla 5.1.0 alla 5.9.1, sono disponibili due opzioni per il comportamento di ridimensionamento: terminare al limite dell'ora di istanza per la fatturazione Amazon o terminare al completamento dell'attività. EC2 A partire dalla EMR versione 5.10.0 di Amazon, l'impostazione per la terminazione al limite dell'ora di istanza è obsoleta a causa dell'introduzione della fatturazione al secondo in Amazon. EC2 Si sconsiglia di specificare la terminazione allo scadere dell'ora dell'istanza nelle versioni in cui l'opzione è disponibile.

Quando viene specificata la terminazione al completamento dell'attività, Amazon EMR nega gli elenchi e scarica le attività dai nodi prima di terminare le istanze Amazon. EC2 Con uno dei due comportamenti specificati, Amazon EMR non chiude le istanze Amazon nei gruppi di EC2 istanze principali se ciò potrebbe causare un danneggiamento. HDFS

Terminazione al completamento dell'attività

Amazon ti EMR consente di ridimensionare il tuo cluster senza influire sul carico di lavoro. Amazon EMR YARN disattiva senza problemi altri daemon sui nodi core e task durante un'operazione di ridimensionamento senza perdere dati o interrompere i lavori. HDFS Amazon riduce le dimensioni del gruppo di istanze EMR solo se il lavoro assegnato ai gruppi è stato completato e questi sono inattivi. Per YARN NodeManager Graceful Decommission, puoi regolare manualmente il tempo di attesa della disattivazione di un nodo.

In questo momento è impostato utilizzando una proprietà nella classificazione di configurazione YARN-site. Utilizzando Amazon EMR release 5.12.0 e successive, specifica la YARN.resourcemanager.nodemanager-graceful-decommission-timeout-secs proprietà. Utilizzando EMR versioni precedenti di Amazon, specifica la YARN.resourcemanager.decommissioning.timeout proprietà.

Se ci sono ancora contenitori o YARN applicazioni in esecuzione allo scadere del timeout di smantellamento, il nodo viene forzato a essere disattivato e YARN riprogramma i contenitori interessati su altri nodi. Il valore predefinito è 3600 secondi (1 ora). Puoi impostare questo timeout con un valore arbitrariamente alto per forzare la riduzione graduale ad attendere più a lungo. Per ulteriori informazioni, consulta Graceful Decommission of nodes nella documentazione di Apache Hadoop. YARN

Gruppi di nodi attività

Amazon seleziona EMR in modo intelligente le istanze che non presentano attività in esecuzione su alcuna fase o applicazione e rimuove prima tali istanze da un cluster. Se tutte le istanze del cluster sono in uso, Amazon EMR attende il completamento delle attività su un'istanza prima di rimuoverla dal cluster. Il tempo di attesa predefinito è 1 ora. Questo valore può essere modificato con l'impostazione YARN.resourcemanager.decommissioning.timeout. Amazon utilizza EMR dinamicamente la nuova impostazione. Puoi impostarlo su un numero arbitrariamente elevato per garantire che Amazon EMR non interrompa alcuna attività riducendo al contempo le dimensioni del cluster.

Gruppi di nodi principali

Sui nodi principali, entrambi YARN NodeManager i HDFS DataNode daemon devono essere disattivati per ridurre il gruppo di istanze. InfattiYARN, Graceful Reduction garantisce che un nodo contrassegnato per la disattivazione venga trasferito DECOMMISSIONED allo stato solo se non ci sono contenitori o applicazioni in sospeso o incompleti. La disattivazione termina immediatamente se non vi sono contenitori in funzione sul nodo all'inizio della disattivazione.

InfattiHDFS, una riduzione gradita garantisce che la capacità target di HDFS sia sufficientemente ampia da contenere tutti i blocchi esistenti. Se la capacità di destinazione non è sufficientemente ampia, solo una parte delle istanze core viene disattivata in modo che i nodi rimanenti possano gestire i dati attualmente presenti. HDFS È necessario garantire una HDFS capacità aggiuntiva per consentire un'ulteriore disattivazione. Dovresti anche cercare di ridurre al minimo le operazioni I/O di scrittura prima di tentare di ridurre i gruppi di istanze. Un numero eccessivo di I/O di scrittura potrebbe ritardare il completamento dell'operazione di ridimensionamento.

Un altro limite è il fattore di replica predefinito, dfs.replication all'interno di /etc/hadoop/conf/hdfs-site. Quando crea un cluster, Amazon EMR configura il valore in base al numero di istanze nel cluster: 1 con 1-3 istanze, 2 per cluster con 4-9 istanze e per cluster con più di 10 istanze. 3

Una riduzione efficace non consente di ridurre i nodi principali al di sotto del fattore di replica. HDFS Ciò consente di chiudere i file a causa HDFS di repliche insufficienti. Per aggirare questo limite, abbassate il fattore di replica e riavviate il demone. NameNode