Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Comportamiento y opciones de almacenamiento de instancias en Amazon EMR

Descripción general

El almacén de instancias y el almacenamiento de volúmenes de Amazon EBS se utilizan para los datos de HDFS, así como para los búferes, cachés, datos de pruebas y otro contenido temporal que algunas aplicaciones pueden “volcar” en el sistema de archivos local.

Amazon EBS funciona de forma diferente en Amazon EMR que en las instancias normales de Amazon EC2 . Los volúmenes de Amazon EBS asociados a clústeres de Amazon EMR son efímeros: los volúmenes se eliminan al terminar el clúster y las instancias (por ejemplo, al reducir grupos de instancias), por lo que no debe esperar que los datos persistan. Aunque los datos son efímeros, es posible que los datos en HDFS se puedan replicar en función del número y de la especialización de los nodos del clúster. Al agregar volúmenes de almacenamiento de Amazon EBS, estos se montan como volúmenes adicionales. No forman parte del volumen raíz. YARN está configurado para utilizar todos los volúmenes adicionales, pero usted es responsable de asignar los volúmenes adicionales como almacenamiento local (por ejemplo, para archivos de registro locales).

Consideraciones

Tenga en cuenta estas consideraciones adicionales cuando utilice Amazon EBS con clústeres de EMR:

Almacenamiento predeterminado de Amazon EBS para instancias

Para EC2 las instancias que tienen almacenamiento exclusivo para EBS, Amazon EMR asigna los volúmenes de almacenamiento gp2 o gp3 de Amazon EBS a las instancias. Al crear un clúster con la versión 5.22.0 y posteriores de Amazon EMR, la cantidad predeterminada de almacenamiento de Amazon EBS aumenta en función del tamaño de la instancia.

Dividimos el aumento del almacenamiento en varios volúmenes. Esto ofrece un mayor rendimiento de IOPS y, a su vez, un mejor rendimiento para algunas cargas de trabajo estandarizadas. Si desea utilizar una configuración diferente de almacenamiento para instancias de Amazon EBS, puede especificarla al crear un clúster de EMR o agregar nodos a un clúster existente. Puede utilizar los volúmenes gp2 o gp3 de Amazon EBS como volúmenes raíz y agregar volúmenes gp2 o gp3 como volúmenes adicionales. Para obtener más información, consulte Especificación de volúmenes de almacenamiento adicionales de EBS.

En la siguiente tabla se identifica el número predeterminado de volúmenes de almacenamiento gp2 de Amazon EBS, los tamaños y los tamaños totales por tipo de instancia. Para obtener información sobre los volúmenes gp2 en comparación con los gp3, consulte Comparación de los tipos de volúmenes gp2 y gp3 de Amazon EBS.

Volumen raíz de Amazon EBS predeterminado para las instancias

Con las versiones 6.15 y posteriores de Amazon EMR, Amazon EMR conecta automáticamente una SSD de uso general (gp3) de Amazon EBS como dispositivo raíz para mejorar el rendimiento. AMIs Con versiones anteriores, Amazon EMR adjunta el volumen SSD de uso general (gp2) de EBS como dispositivo raíz.

Para obtener información sobre cómo personalizar el volumen del dispositivo raíz de Amazon EBS, consulte Especificación de volúmenes de almacenamiento adicionales de EBS.

Especificación de volúmenes de almacenamiento adicionales de EBS

Al configurar los tipos de instancia en Amazon EMR, puede especificar volúmenes de EBS adicionales, lo que agrega capacidad más allá del almacén de instancias (en caso de incluirse) y el volumen de EBS predeterminado. Amazon EBS ofrece los siguientes tipos de volúmenes: uso general (SSD), de IOPS aprovisionadas (SSD), de rendimiento optimizado (HDD), en frío (HDD) y magnéticos. Se diferencian en las características de rendimiento y en el precio, por lo que puede personalizar su almacenamiento en función de las necesidades empresariales y de análisis de sus aplicaciones. Por ejemplo, algunas aplicaciones pueden tener la necesidad de volcar contenido en el disco, mientras que otras pueden trabajar de forma segura en la memoria o con Amazon S3.

Solo puede asociar volúmenes de Amazon EBS a instancias durante el tiempo de inicio del clúster y cuando agrega un grupo de instancias de nodos de tarea adicional. Si una instancia en un clúster de Amazon EMR presenta errores, tanto la instancia como los volúmenes de Amazon EBS asociados se sustituirán con volúmenes nuevos. Por lo tanto, si separa manualmente un volumen de Amazon EBS, Amazon EMR lo trata como un error y sustituye tanto los almacenamientos de la instancia (si procede) como los almacenes de volumen.

Amazon EMR no le permite modificar el tipo de volumen de gp2 a gp3 para un clúster de EMR existente. Para utilizar gp3 en sus cargas de trabajo, lance un nuevo clúster de EMR. Además, no se recomienda actualizar el rendimiento y las IOPS de un clúster que esté en uso o que se esté aprovisionando, ya que Amazon EMR utiliza los valores de rendimiento y de IOPS que se especifican en el momento de lanzar el clúster para cualquier instancia nueva que agrega durante el escalado vertical del clúster. Para obtener más información, consulte Comparación de los tipos de volúmenes gp2 y gp3 de Amazon EBS y Selección de las IOPS y el rendimiento al migrar a tipos de volúmenes de Amazon EBS de gp3.