Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Errore del cluster Amazon EMR: errore del fattore di replica HDFS
Quando rimuovi un nodo principale da un gruppo o da un parco di istanze principali, Amazon EMR potrebbe incorrere in un errore di replica HDFS. Questo errore si verifica quando rimuovi i nodi principali e il numero di nodi principali scende al di sotto del fattore di replica dfs.configurato per l'Hadoop Distributed File System (HDFS). Pertanto, Amazon EMR non può eseguire l'operazione in sicurezza. Per determinare il valore predefinito della dfs.replication configurazione, configurazione HDFS.
Possibili cause
Per le possibili cause dell'errore del fattore di replica HDFS, vedere quanto segue:
-
Se ridimensioni manualmente un gruppo o un parco di istanze principali al di sotto del fattore configurato.
dfs.replication -
Le tue politiche di scalabilità gestita o di scalabilità automatica potrebbero consentire una scalabilità mirata a ridurre il numero di nodi principali al di sotto della soglia di.
dfs.replication -
Questo errore può verificarsi anche se Amazon EMR tenta di sostituire un nodo principale non integro quando un cluster ha il numero minimo di nodi core definito da.
dfs.replication
Soluzioni e best practice
Per le soluzioni e le best practice, consulta quanto segue:
-
Quando ridimensioni manualmente un cluster Amazon EMR, non ridimensionarlo al di sotto di tale valore,
dfs.replicationpoiché Amazon EMR non è in grado di completare il ridimensionamento in modo sicuro. -
Quando utilizzi la scalabilità gestita o la scalabilità automatica, assicurati che la capacità minima del cluster non sia inferiore al fattore.
dfs.replication -
Il numero di istanze principali deve essere almeno più uno.
dfs.replicationCiò garantisce che Amazon EMR possa sostituire correttamente un nodo principale non integro se hai abilitato la sostituzione del core non integro.
Importante
Il guasto di un singolo nodo principale può portare alla perdita di dati HDFS se impostato su 1. dfs.replication Se il tuo cluster dispone di storage HDFS, ti consigliamo di configurarlo con almeno quattro nodi principali per i carichi di lavoro di produzione per evitare la perdita di dati e di impostare il dfs.replication fattore su almeno 2.
