Registros de escritura anticipada (WAL) para Amazon EMR - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Registros de escritura anticipada (WAL) para Amazon EMR

Con Amazon EMR 6.15 y versiones posteriores, puede escribir sus registros de HBase escritura anticipada de Apache (WAL) en Amazon. EMR WAL En las EMR versiones anteriores de Amazon, cuando se crea un clúster con la opción HBaseen Amazon S3, WAL es el único HBase componente de Apache que se almacena en el disco local de los clústeres, y se pueden almacenar otros componentes, como el directorio raíz, los archivos de almacenamiento (HFiles), los metadatos de las tablas y los datos en Amazon S3.

Puede usar Amazon EMR WAL para recuperar datos que no se descargaron en Amazon S3. Para hacer una copia de seguridad completa de tus HBase clústeres, opta por utilizar el EMR WAL servicio de Amazon. Entre bastidores, RegionServer escribe tus registros de HBase escritura anticipada (WAL) en WAL Amazon. EMR

En caso de que su clúster o la zona de disponibilidad dejen de funcionar o no estén disponibles, puede crear uno nuevo, dirigirlo al mismo directorio raíz de S3 y al mismo EMR WAL espacio de trabajo de Amazon y recuperar los datos automáticamente en unos WAL minutos. Para obtener más información, consulte Restauración desde Amazon EMR WAL.

A partir de las EMR versiones 7.3.0 y posteriores de Amazon, Amazon EMR crea varios EMR WALs para cada servidor y agrupa varias HBase regiones en una sola Amazon EMRWAL. Al hacerlo, Apache mejora la utilización de HBase WAL los registros y optimiza los costes. Para configurar el número de EMR WAL instancias de Amazon por instancia HBaseRegionServer, usa el parámetrohbase.wal.regiongrouping.numgroups. Este parámetro está establecido en 2 de forma predeterminada.

Si ejecuta una versión anterior a Amazon EMR 7.3.0, le recomendamos que deshabilite manualmente las tablas del HBase clúster anterior para asegurarse de que todos los datos de Amazon se transfieran EMR WAL a Amazon S3. A continuación, elimina el Amazon anterior EMRWAL, termina el clúster anterior y configura uno nuevo que ejecute la última versión. Si tiene problemas y no puede deshabilitar las tablas del clúster anterior, puede finalizar directamente el clúster anterior y establecer emr.wal.multiplex.migrate en true en el nuevo clúster. Si se establece en true, HBase intentará reproducir los datos de las EMR WAL instancias antiguas de Amazon durante la inicialización de HBase la región y eliminará los antiguos WALs tras la reproducción. Este proceso de reproducción implica costes adicionales de lectura. Tras la migración, se recomienda configurar el clúster y establecer emr.wal.multiplex.migrate en false. Como alternativa, puedes eliminar el parámetro para acelerar la inicialización de la región. HBase

nota

Amazon EMR WAL borra los datos después de HBase vaciarlos. Si HBase no vacía los datos, Amazon los EMR WAL conserva durante un máximo de 30 días. Transcurridos 30 días, Amazon borra los datos EMR WAL automáticamente. Amazon EMR conserva WAL las instancias durante un máximo de 30 días a partir del momento en que cancelas un EMR clúster. Sin embargo, si lanzas un nuevo clúster WAL habilitado desde el mismo directorio raíz de S3 en esos 30 días, Amazon EMR no eliminará ninguna de las WAL instancias del clúster anterior. Para obtener más información, consulte Restauración desde Amazon EMR WAL.

En las siguientes secciones se describe cómo configurar y usar Amazon EMR WAL con tu EMR clúster HBase habilitado.

Temas