Registri write-ahead () per Amazon WAL EMR

Con Amazon EMR 6.15 e versioni successive, puoi scrivere i tuoi log HBase write-ahead di Apache () WAL su Amazon. EMR WAL EMRNelle versioni meno recenti di Amazon, quando crei un cluster con l'opzione HBasesu Amazon S3, WAL è l'unico HBase componente Apache che viene archiviato nel disco locale per i cluster e puoi archiviare altri componenti come la directory principale, store files (HFiles), i metadati delle tabelle e i dati su Amazon S3.

Puoi usare Amazon EMR WAL per recuperare dati che non sono stati trasferiti su Amazon S3. Per eseguire il backup completo dei tuoi HBase cluster, scegli di utilizzare il EMR WAL servizio Amazon. Dietro le quinte, RegionServer scrive i tuoi log HBase write-ahead (WAL) su Amazon. WAL EMR

Nel caso in cui il cluster o l'AZ diventino non integri o non disponibili, puoi creare un nuovo cluster, indirizzarlo alla stessa directory principale S3 e allo stesso EMR WAL spazio di lavoro Amazon e ripristinare automaticamente i dati in WAL pochi minuti. Per ulteriori informazioni, consulta Ripristino da Amazon EMR WAL.

A partire dalle EMR versioni 7.3.0 e successive di Amazon, Amazon ne EMR crea più di uno EMR WALs per ogni server e raggruppa più HBase regioni in un unico Amazon EMRWAL. In questo modo potenzia Apache HBase WAL per migliorare l'utilizzo dei log e ottimizzare i costi. Per configurare il numero di EMR WAL istanze Amazon per HBaseRegionServer, utilizza il parametrohbase.wal.regiongrouping.numgroups. Per impostazione predefinita, questo parametro è impostato su 2.

Se esegui una versione precedente ad Amazon EMR 7.3.0, ti consigliamo di disabilitare manualmente le tabelle nel vecchio HBase cluster per assicurarti che tutti i dati in Amazon vengano trasferiti su EMR WAL Amazon S3. Quindi, elimina il vecchio Amazon EMRWAL, chiudi il vecchio cluster e configura un nuovo cluster che esegua l'ultima versione. Se riscontri problemi e non riesci a disabilitare le tabelle sul vecchio cluster, puoi terminare direttamente il vecchio cluster e emr.wal.multiplex.migrate impostarlo sutrue. sul nuovo cluster. Se impostato su true, HBase tenterà di riprodurre i dati delle vecchie EMR WAL istanze Amazon durante l'inizializzazione HBase della regione e di eliminare i dati precedenti WALs dopo la riproduzione. Questo processo di riproduzione comporta costi aggiuntivi per le letture. Dopo la migrazione, si consiglia di configurare il cluster e impostarlo su. emr.wal.multiplex.migrate false In alternativa, è possibile rimuovere il parametro per accelerare l'inizializzazione HBase della regione.

Le seguenti sezioni descrivono come configurare e utilizzare Amazon EMR WAL con il tuo EMR cluster HBase abilitato.