Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Write-ahead log (WAL) per Amazon EMR
Con Amazon EMR 6.15 e versioni successive, puoi scrivere i tuoi log write-ahead (WAL) di Apache HBase su Amazon EMR WAL. Con versioni inferiori di Amazon EMR, quando crei un cluster con l'opzione HBase su Amazon S3, WAL è l'unico componente Apache HBase che viene archiviato nel disco locale per i cluster e puoi archiviare altri componenti come la directory principale, i file di archiviazione (HFiles), i metadati delle tabelle e i dati su Amazon S3.
Puoi utilizzare Amazon EMR WAL per recuperare i dati che non sono stati trasferiti in Amazon S3. Per eseguire il backup completo dei cluster HBase, scegli di utilizzare il servizio Amazon EMR WAL. Dietro le quinte, RegionServer scrive i log write-ahead (WAL) di HBase nel WAL per Amazon EMR.
Nel caso in cui il tuo cluster o l'AZ non siano integri o non disponibili, puoi creare un nuovo cluster, indirizzarlo alla stessa directory principale S3 e allo stesso spazio di lavoro Amazon EMR WAL e ripristinare automaticamente i dati in WAL entro pochi minuti. Per ulteriori informazioni, consulta Ripristino da Amazon EMR WAL.
A partire dalle versioni 7.3.0 e successive di Amazon EMR, Amazon EMR crea più WAL EMR per ciascun server e raggruppa più regioni HBase in un unico Amazon EMR WAL. In questo modo si potenzia Apache HBase WAL per migliorare l'utilizzo dei log e ottimizzare i costi. Per configurare il numero di istanze Amazon EMR WAL per HBase, utilizza il parametro. RegionServer hbase.wal.regiongrouping.numgroups Per impostazione predefinita, questo parametro è impostato su 2. Esistono due tabelle di sistema che non sono incluse in nessun gruppo WAL: meta e masterstore. Queste tabelle utilizzano sempre i propri WAL individuali.
Se utilizzi una versione precedente ad Amazon EMR 7.3.0, ti consigliamo di disabilitare manualmente le tabelle nel vecchio cluster HBase per assicurarti che tutti i dati in Amazon EMR WAL vengano trasferiti su Amazon S3. Quindi, elimina il vecchio Amazon EMR WAL, termina il vecchio cluster e configura un nuovo cluster che esegua la versione più recente. Se riscontri problemi e non riesci a disabilitare le tabelle sul vecchio cluster, puoi terminare direttamente il vecchio cluster e emr.wal.multiplex.migrate impostarlo sutrue. sul nuovo cluster. Se impostato su true, HBase tenterà di riprodurre i dati delle vecchie istanze WAL di Amazon EMR durante l'inizializzazione della regione HBase ed eliminerà i vecchi WAL dopo la riproduzione. Questo processo di riproduzione comporta costi aggiuntivi per le letture. Dopo la migrazione, ti consigliamo di configurare il cluster e emr.wal.multiplex.migrate impostarlo su. false In alternativa, è possibile rimuovere il parametro per accelerare l'inizializzazione della regione HBase.
Nota
Amazon EMR WAL elimina i dati dopo che HBase li ha scaricati. Se HBase non elimina i dati, Amazon EMR WAL li conserva per un massimo di 30 giorni. Dopo 30 giorni, Amazon EMR WAL elimina automaticamente i dati. Amazon EMR conserva le istanze WAL per un massimo di 30 giorni dalla chiusura di un cluster EMR. Tuttavia, se avvii un nuovo WAL-enabled cluster dalla stessa directory principale di S3 entro quei 30 giorni, Amazon EMR non eliminerà nessuna delle istanze WAL dal cluster precedente. Per ulteriori informazioni, consulta Ripristino da Amazon EMR WAL.
Le sezioni seguenti descrivono come configurare e utilizzare Amazon EMR WAL con il tuo cluster EMR. HBase-enabled
Argomenti
