Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Considérations

Tenez compte des limites suivantes lorsque vous utilisez Hue sur Amazon EMR.

Performances avec de grands tableaux de métadonnées Hue

Si la base de données de métadonnées Hue devient trop volumineuse, les performances peuvent se dégrader. Pour vérifier la taille des tables, connectez-vous d'abord au nœud principal d'Amazon EMR sur le cluster Amazon EC2 avec SSH et exécutez la commande sudo mysql -u root pour démarrer la CLI MySQL. Pour obtenir la taille de votre tableau, exécutez la requêteSELECT COUNT(*) FROM hue.<table_name>. Consultez ce qui suit pour savoir ce qui <table_name> peut être :

Si l'exécution de cette requête renvoie un nombre supérieur à 100 000, vous devez exécuter la commande de nettoyage suivante pour supprimer les anciens enregistrements.

cd /opt/cloudera/parcels/CDH/lib/hue # Hue home directory ./build/env/bin/hue desktop_document_cleanup

Pour plus d'informations sur le nettoyage de votre base de données, consultez la page de référence de la documentation Hue.

Hue ne nettoie pas automatiquement les tableaux, mais les versions 5.12.0 et supérieures d'Amazon EMR proposent une méthode pour supprimer les anciens documents des tableaux. Créez le script shell suivant et exécutez-le en tant qu'étape dans un cluster Amazon EMR avec un paramètre entier qui représente le nombre maximum de jours pendant lesquels les documents doivent être conservés dans la base de données de métadonnées.

#!/bin/bash
if grep isMaster /mnt/var/lib/info/instance.json | grep false;
then
  echo "This is not the primary node; do nothing, exiting"
  exit 0
fi
while [ ! -f /usr/lib/hue/desktop/core/src/desktop/management/commands/desktop_document_cleanup.py ]
do
  sleep 1
done
sudo systemctl stop hue.service
sudo sed -i 's+  LOG.warn+  # LOG.warn+g' /usr/lib/hue/desktop/core/src/desktop/management/commands/desktop_document_cleanup.py
sudo /usr/lib/hue/build/env/bin/hue desktop_document_cleanup --keep-days $1
sudo systemctl start hue.service

Incompatibilité entre les versions de Hue

Si vous utilisez la même base de données de métadonnées Hue sur plusieurs Hue-enabled clusters, nous vous recommandons que ces clusters exécutent la même version de Hue. Les différentes versions de Hue peuvent avoir différents schémas pour la base de données de métadonnées Hue. L'utilisation de la même base de données pour différentes versions peut entraîner l'échec de l'installation de Hue. Par exemple, essayer d'utiliser la même base de données pour deux clusters sur lesquels 4.10.0 et 4.11.0 sont installés peut provoquer des erreurs de connexion pour les utilisateurs qui tentent de se connecter au cluster 4.10.0.

Pour obtenir la liste des versions d'Amazon EMR et les versions installées correspondantes de Hue, consultez l'historique des versions de Hue.