Error de clúster de Amazon EMR: “Error de espacio insuficiente en HDFS”
Si intenta eliminar un nodo básico, puede producirse un error de espacio insuficiente en el Sistema de archivos distribuido de Hadoop (HDFS), pero Amazon EMR no puede completar la operación de forma segura debido a que no queda suficiente espacio en el HDFS. Antes de que Amazon EMR elimine un nodo básico, todos los datos de HDFS del nodo deben transferirse a otros nodos básicos para garantizar la redundancia de los datos. Sin embargo, si no hay suficiente espacio en los otros nodos básicos para la replicación, Amazon EMR no puede realizar una desactivación rápida del nodo.
Causas posibles
Consulte lo siguiente para ver una lista de las posibles causas del error de espacio insuficiente en HDFS:
-
Si reduce vertical y manualmente un grupo de instancias básico o una flota de instancias cuando no hay suficiente espacio en HDFS en los nodos restantes para replicar los datos antes de la reducción de escala.
-
El escalado administrado o el escalado automático reduce verticalmente un grupo de instancias principal o una flota de instancias cuando no hay suficiente espacio en HDFS para la replicación de datos.
-
Amazon EMR intenta reemplazar un nodo principal en mal estado, pero no puede reemplazar el nodo de forma segura debido a la falta de espacio en HDFS.
Soluciones y prácticas recomendadas
Consulte lo siguiente para obtener soluciones y prácticas recomendadas:
-
Escale verticalmente la cantidad de nodos básicos de su clúster de Amazon EMR. Si utiliza el escalado administrado o el escalado automático, aumente la capacidad mínima de sus nodos básicos.
-
Utilice volúmenes de EBS más grandes para sus nodos básicos al crear su clúster de EMR.
-
Elimine los datos HDFS innecesarios del clúster de EMR. Le recomendamos que configure las alarmas de CloudWatch para supervisar la métrica
HDFSUtilizationde su clúster y saber si su clúster de EMR tiene poco espacio.
