Erro de cluster do Amazon EMR: erro de espaço insuficiente no HDFS
Um erro de espaço insuficiente do Sistema de Arquivos Distribuído do Hadoop (HDFS) pode ocorrer se você tentar remover um nó central, mas o Amazon EMR não pode concluir a operação com segurança devido à falta de espaço no HDFS. Antes que o Amazon EMR remova um nó central, todos os dados do HDFS no nó devem ser transferidos para outros nós centrais para garantir a redundância dos dados. No entanto, se não houver espaço suficiente nos outros nós centrais para replicação, o Amazon EMR não poderá desativar o nó.
Possíveis causas
Confira esta lista das possíveis causas do erro de espaço insuficiente no HDFS:
-
Se você reduzir manualmente a escala de um grupo de instâncias centrais ou de uma frota de instâncias quando não houver espaço suficiente no HDFS nos nós restantes para replicação de dados antes de reduzir a escala verticalmente.
-
O ajuste de escala gerenciado ou automático reduzem verticalmente a escala de um grupo de instâncias centrais ou de uma frota de instâncias quando não há espaço suficiente no HDFS para a replicação de dados.
-
O Amazon EMR tenta substituir um nó central não íntegro, mas não consegue substituí-lo com segurança devido ao espaço insuficiente no HDFS.
Soluções e práticas recomendadas
Consulte as seguintes informações para obter as soluções e práticas recomendadas:
-
Aumente verticalmente a escala do número de nós centrais no cluster do Amazon EMR. Se você usa ajuste de escala gerenciado ou automático, aumente a capacidade mínima dos nós centrais.
-
Use volumes maiores do EBS para os nós centrais ao criar o cluster do EMR.
-
Exclua dados do HDFS desnecessários no cluster do EMR. Recomendamos que você configure os alarmes do CloudWatch para monitorar a métrica
HDFSUtilizationno cluster para saber se o cluster do EMR está com pouco espaço.
