Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Write-ahead journaux (WAL) pour Amazon EMR
Avec Amazon EMR 6.15 et les versions ultérieures, vous pouvez écrire vos journaux d'écriture anticipée (WAL) Apache HBase dans le WAL Amazon EMR. Dans les versions inférieures d'Amazon EMR, lorsque vous créez un cluster avec l'option HBase sur Amazon S3, WAL est le seul composant Apache HBase qui est stocké sur le disque local pour les clusters, et vous pouvez stocker d'autres composants tels que le répertoire racine, les fichiers de stockage (HFiles), les métadonnées des tables et les données sur Amazon S3.
Vous pouvez utiliser Amazon EMR WAL pour récupérer les données qui n'ont pas été transférées vers Amazon S3. Pour sauvegarder intégralement vos clusters HBase, choisissez d'utiliser le service Amazon EMR WAL. Dans les coulisses, RegionServer écrit vos journaux d'écriture anticipée (WAL) HBase dans le WAL d'Amazon EMR.
Si votre cluster ou l'AZ devient défectueux ou indisponible, vous pouvez créer un nouveau cluster, le diriger vers le même répertoire racine S3 et l'espace de travail Amazon EMR WAL, et récupérer automatiquement les données dans WAL en quelques minutes. Pour plus d’informations, consultez Restauration depuis Amazon EMR WAL.
À partir des versions 7.3.0 et supérieures d'Amazon EMR, Amazon EMR crée plusieurs WAL EMR pour chaque serveur et regroupe plusieurs régions HBase en un seul Amazon EMR WAL. Cela permet d'améliorer Apache HBase WAL afin d'améliorer l'utilisation des journaux et d'optimiser les coûts. Pour configurer le nombre d'instances Amazon EMR WAL par HBaseRegionServer, utilisez le paramètre. hbase.wal.regiongrouping.numgroups Par défaut, ce paramètre est défini sur 2. Il existe deux tables système qui ne sont incluses dans aucun groupe WAL : meta et masterstore. Ces tables utilisent toujours leurs propres WAL individuels.
Si vous exécutez une version inférieure à Amazon EMR 7.3.0, nous vous recommandons de désactiver manuellement les tables de l'ancien cluster HBase pour vous assurer que toutes les données du WAL Amazon EMR sont transférées vers Amazon S3. Supprimez ensuite l'ancien Amazon EMR WAL, mettez fin à l'ancien cluster et configurez un nouveau cluster qui exécute la dernière version. Si vous rencontrez des problèmes et que vous ne parvenez pas à désactiver les tables de l'ancien cluster, vous pouvez directement mettre fin emr.wal.multiplex.migrate à l'ancien cluster et définir surtrue. sur le nouveau cluster. Si ce paramètre est défini sur true, HBase tentera de relire les données des anciennes instances WAL Amazon EMR lors de l'initialisation de la région HBase et supprimera les anciennes instances WAL après la relecture. Ce processus de rediffusion entraîne des coûts supplémentaires pour les lectures. Après la migration, nous vous recommandons de configurer le cluster et de le emr.wal.multiplex.migrate définir surfalse. Vous pouvez également supprimer le paramètre pour accélérer l'initialisation de la région HBase.
Note
Amazon EMR WAL supprime les données une fois que HBase les a vidées. Si HBase ne vide pas les données, Amazon EMR WAL les conserve pendant 30 jours au maximum. Au bout de 30 jours, Amazon EMR WAL supprime automatiquement les données. Amazon EMR conserve les instances WAL jusqu'à 30 jours à compter de la date à laquelle vous résiliez un cluster EMR. Toutefois, si vous lancez un nouveau WAL-enabled cluster à partir du même répertoire racine S3 au cours de ces 30 jours, Amazon EMR ne supprimera aucune des instances WAL de votre cluster précédent. Pour plus d’informations, consultez Restauration depuis Amazon EMR WAL.
Les sections suivantes décrivent comment configurer et utiliser Amazon EMR WAL avec votre cluster HBase-enabled EMR.
Rubriques
