Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Journaux d'écriture anticipée (WAL) pour Amazon EMR
Avec Amazon EMR 6.15 et versions ultérieures, vous pouvez écrire vos journaux d' HBase écriture anticipée (WAL) Apache sur le WAL Amazon EMR. Dans les versions inférieures d'Amazon EMR, lorsque vous créez un cluster avec l'option HBase sur Amazon S3, WAL est le seul HBase composant Apache stocké sur le disque local pour les clusters, et vous pouvez stocker d'autres composants tels que le répertoire racine, les fichiers de stockage (HFiles), les métadonnées des tables et les données sur Amazon S3.
Vous pouvez utiliser Amazon EMR WAL pour récupérer des données qui n'ont pas été transférées vers Amazon S3. Pour sauvegarder l'intégralité de vos HBase clusters, choisissez d'utiliser le service Amazon EMR WAL. En arrière-plan, RegionServer écrit vos journaux d' HBase écriture anticipée (WAL) dans le WAL pour Amazon EMR.
Si votre cluster ou l'AZ ne fonctionne pas correctement ou n'est plus disponible, vous pouvez créer un nouveau cluster, le pointer vers le même répertoire racine S3 et le même espace de travail Amazon EMR WAL, et récupérer automatiquement les données dans WAL en quelques minutes. Pour de plus amples informations, veuillez consulter Restauration depuis Amazon EMR WAL.
À partir des versions 7.3.0 et supérieures d'Amazon EMR, Amazon EMR crée plusieurs EMR pour chaque serveur et regroupe plusieurs régions HBase dans un seul Amazon WALs EMR WAL. Cela permet d'améliorer Apache HBase WAL afin d'améliorer l'utilisation des journaux et d'optimiser les coûts. Pour configurer le nombre d'instances Amazon EMR WAL par HBase RegionServer, utilisez le paramètre. hbase.wal.regiongrouping.numgroups Par défaut, ce paramètre est défini sur 2.
Si vous utilisez une version inférieure à Amazon EMR 7.3.0, nous vous recommandons de désactiver manuellement les tables de l'ancien HBase cluster pour vous assurer que toutes les données du WAL Amazon EMR sont transférées vers Amazon S3. Supprimez ensuite l'ancien Amazon EMR WAL, mettez fin à l'ancien cluster et configurez un nouveau cluster qui exécute la dernière version. Si vous rencontrez des problèmes et que vous ne parvenez pas à désactiver les tables de l'ancien cluster, vous pouvez directement arrêter l'ancien cluster et emr.wal.multiplex.migrate définir surtrue. sur le nouveau cluster. S'il est défini sur true, il HBase essaiera de rejouer les données des anciennes instances Amazon EMR WAL HBase lors de l'initialisation de la région et de supprimer les anciennes après la WALs rediffusion. Ce processus de rediffusion entraîne des coûts supplémentaires pour les lectures. Après la migration, nous vous recommandons de configurer le cluster et de le emr.wal.multiplex.migrate définir surfalse. Vous pouvez également supprimer le paramètre pour accélérer l'initialisation de HBase la région.
Note
Amazon EMR WAL supprime les données après HBase les avoir vidées. Si les données HBase ne sont pas supprimées, Amazon EMR WAL les conserve pendant une durée maximale de 30 jours. Après 30 jours, Amazon EMR WAL supprime automatiquement les données. Amazon EMR conserve les instances WAL jusqu'à 30 jours à compter de la résiliation d'un cluster EMR. Toutefois, si vous lancez un nouveau cluster compatible WAL depuis le même répertoire racine S3 au cours de ces 30 jours, Amazon EMR ne supprimera aucune des instances WAL de votre cluster précédent. Pour de plus amples informations, veuillez consulter Restauration depuis Amazon EMR WAL.
Les sections suivantes décrivent comment configurer et utiliser Amazon EMR WAL avec votre cluster EMR HBase activé.
Rubriques
