Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Amazon EMR version 5.30.0
Versions d’application 5.30.0
Cette version inclut les applications suivantes : Flink
Le tableau ci-dessous répertorie les versions d'application disponibles dans cette version d'Amazon EMR et les versions d'application des trois versions précédentes d'Amazon EMR (le cas échéant).
Pour obtenir un historique complet des versions des applications de chaque version d'Amazon EMR, consultez les rubriques suivantes :
emr-5.30.0 | mr-5.29.0 | emr-5.28.1 | emr-5.28.0 | |
---|---|---|---|---|
AWS SDK pour Java | 1,1,759 | 1,11,682 | 1,1,659 | 1,1,659 |
Python | 2,7, 3,7 | 2,7, 3,6 | 2,7, 3,6 | 2,7, 3,6 |
Scala | 2,1,12 | 2,1,12 | 2,1,12 | 2,1,12 |
AmazonCloudWatchAgent | - | - | - | - |
Delta | - | - | - | - |
Flink | 1.10.0 | 1.9.1 | 1.9.0 | 1.9.0 |
Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
HBase | 1.4.13 | 1.4.10 | 1.4.10 | 1.4.10 |
HCatalog | 2.3.6 | 2.3.6 | 2.3.6 | 2.3.6 |
Hadoop | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 |
Hive | 2.3.6 | 2.3.6 | 2.3.6 | 2.3.6 |
Hudi | 0.5.2-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
Hue | 4.6.0 | 4.4.0 | 4.4.0 | 4.4.0 |
Iceberg | - | - | - | - |
JupyterEnterpriseGateway | - | - | - | - |
JupyterHub | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 |
Livy | 0.7.0 | 0.6.0 | 0.6.0 | 0.6.0 |
MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 |
Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
Oozie | 5.2.0 | 5.1.0 | 5.1.0 | 5.1.0 |
Phoenix | 4.14.3 | 4.14.3 | 4.14.3 | 4.14.3 |
Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
Presto | 0.232 | 0.227 | 0.227 | 0.227 |
Spark | 2.4.5 | 2.4.4 | 2.4.4 | 2.4.4 |
Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 |
Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
Turin (PrestoSQL) | - | - | - | - |
Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
Notes de mise à jour 5.30.0
Les notes de mises à jour suivantes incluent des informations sur la version Amazon EMR 5.30.0. Les modifications ont été apportées à la version 5.29.0.
Date de parution initiale : 13 mai 2020
Date de la dernière mise à jour : 25 juin 2020
Mises à niveau
Mise à niveau AWS SDK for Java vers la version 1.11.759
Mise à niveau du SDK Amazon SageMaker Spark vers la version 1.3.0
Mise à niveau du serveur d'enregistrement EMR vers la version 1.6.0
Mise à niveau de Flink vers la version 1.10.0
Mise à niveau de Ganglia vers la version 3.7.2
Mise à niveau HBase vers la version 1.4.13
Mise à niveau de Hudi vers la version 0.5.2 incubating
Mise à niveau de Hue vers la version 4.6.0
Mise à niveau JupyterHub vers la version 1.1.0
Mise à niveau de Livy vers la version 0.7.0-incubating
Mise à niveau d'Oozie vers la version 5.2.0
Mise à niveau de Presto vers la version 0.232
Mise à niveau de Spark vers la version 2.4.5
Connecteurs et pilotes mis à niveau : Amazon Glue Connector 1.12.0 ; Amazon Kinesis Connector 3.5.0 ; EMR DynamoDB Connector 4.14.0
Nouvelles fonctionnalités
Blocs-notes EMR – Lorsqu'ils sont utilisés avec des clusters EMR créés à l'aide de la version 5.30.0, les noyaux du bloc-notes EMR s'exécutent sur un cluster. Cela améliore les performances des blocs-notes et vous permet d'installer et de personnaliser les noyaux. Vous pouvez également installer des bibliothèques Python sur le nœud primaire du cluster. Pour plus d'informations, consultez Installation et utilisation des noyaux et des bibliothèques dans le Manuel de gestion EMR .
Dimensionnement géré – Avec les versions 5.30.0 et ultérieures d'Amazon EMR, vous pouvez activer le dimensionnement géré par EMR pour augmenter ou diminuer automatiquement le nombre d'instances ou d'unités dans votre cluster en fonction de la charge de travail. Amazon EMR évalue en permanence les métriques de cluster pour prendre des décisions de dimensionnement qui optimisent vos clusters en termes de coût et de vitesse. Pour plus d'informations, consultez Mise à l'échelle des ressources de cluster dans le Guide de gestion Amazon EMR.
Chiffrer les fichiers journaux stockés dans Amazon S3 : avec Amazon EMR version 5.30.0 et versions ultérieures, vous pouvez chiffrer les fichiers journaux stockés dans Amazon S3 à l'aide d'une clé gérée par le client. AWS KMS Pour plus d'informations, consultez Chiffrer les fichiers journaux stockés dans Amazon S3 dans le Guide de gestion Amazon EMR.
Prise en charge d'Amazon Linux 2 – Les versions 5.30.0 et ultérieures d'EMR utilisent le système d'exploitation Amazon Linux 2. La nouvelle personnalisation AMIs (Amazon Machine Image) doit être basée sur l'AMI Amazon Linux 2. Pour en savoir plus, consultez Utilisation d'une image AMI personnalisée.
Dimensionnement automatique gracieux Presto – Les clusters EMR utilisant la version 5.30.0 peuvent inclure un délai d'attente de dimensionnement automatique qui donne aux tâches Presto le temps s'exécuter complètement avant que leur nœud ne soit hors-service. Pour de plus amples informations, veuillez consulter Utilisation du dimensionnement automatique de Presto avec désaffectation gracieuse.
Création d'une instance de flotte avec une nouvelle option de stratégie d'allocation – Une nouvelle option de stratégie d'allocation est disponible dans les versions 5.12.1 et ultérieures d'EMR. Cela permet un approvisionnement plus rapide des clusters, une allocation plus précise et moins d'interruptions d'instances Spot. Des mises à jour des rôles de service EMR autres que ceux par défaut sont requises. Consultez Configuration de parcs d'instances.
Commandes sudo systemctl stop et sudo systemctl start – Dans les versions 5.30.0 et ultérieures d'EMR, qui utilisent le système d'exploitation Amazon Linux 2, EMR utilise les commandes
sudo systemctl stop
etsudo systemctl start
pour redémarrer les services. Pour plus d'informations, consultez Comment redémarrer un service dans Amazon EMR ?.
Modifications, améliorations et problèmes résolus
EMR version 5.30.0 n'installe pas Ganglia par défaut. Lorsque vous créez un cluster, vous pouvez sélectionner expressément l’installation de Ganglia.
Optimisation des performances Spark.
Optimisation des performances Presto.
Python 3 est la version par défaut pour Amazon EMR version 5.30.0 et versions ultérieures.
Le groupe de sécurité géré par défaut pour l'accès au service dans les sous-réseaux privés a été mis à jour avec de nouvelles règles. Si vous utilisez un groupe de sécurité personnalisé pour accéder au service, vous devez inclure les mêmes règles que le groupe de sécurité géré par défaut. Pour plus d'informations, consultez Groupe de sécurité géré par Amazon EMR pour l'accès au service (sous-réseaux privés). Si vous utilisez un rôle de service personnalisé pour Amazon EMR, vous devez accorder l'autorisation aux
ec2:describeSecurityGroups
pour permettre à EMR de confirmer que les groupes de sécurité sont correctement créés. Si vous utilisez leEMR_DefaultRole
, cette autorisation est déjà incluse dans la stratégie gérée par défaut.
Problèmes connus
-
Réduction de la limite du « nombre maximum de fichiers ouverts » pour les anciennes versions AL2 [corrigée dans les nouvelles versions]. Versions Amazon EMR : emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0 et emr-6.2.0 sont basées sur les anciennes versions d'Amazon Linux 2 (), qui ont un paramètre ulimit inférieur pour le « Nombre maximum de fichiers ouverts » lorsque les clusters Amazon EMR sont créés avec l'AMI par défaut. AL2 Les versions 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 et versions ultérieures d'Amazon EMR incluent un correctif permanent avec un paramètre « Nombre maximum de fichiers ouverts » plus élevé. Les versions dont la limite de fichiers ouverts est inférieure provoquent l'erreur « Trop de fichiers ouverts » lors de la soumission d'une tâche Spark. Dans les versions concernées, l'AMI par défaut Amazon EMR possède un paramètre ulimit par défaut de 4096 pour le « Nombre maximum de fichiers ouverts », ce qui est inférieur à la limite de fichiers de 65536 de la dernière AMI Amazon Linux 2. Le paramètre ulimit inférieur pour « Nombre maximum de fichiers ouverts » entraîne l'échec de la tâche Spark lorsque le pilote et l'exécuteur Spark tentent d'ouvrir plus de 4 096 fichiers. Pour résoudre ce problème, Amazon EMR dispose d'un script d'action d'amorçage (BA, bootstrap action) qui ajuste le paramètre ulimit lors de la création du cluster.
Si vous utilisez une ancienne version d'Amazon EMR qui ne contient pas de solution permanente à ce problème, la solution suivante vous permet de définir explicitement le paramètre ulimit du contrôleur d'instance sur un maximum de 65536 fichiers.
Définir explicitement un ulimit à partir de la ligne de commande
Modifiez
/etc/systemd/system/instance-controller.service
pour ajouter les paramètres suivants à la section Service.LimitNOFILE=65536
LimitNPROC=65536
Redémarrer InstanceController
$ sudo systemctl daemon-reload
$ sudo systemctl restart instance-controller
Définissez un ulimit à l'aide de l'action d'amorçage (BA)
Vous pouvez également utiliser un script d'action d'amorçage (BA) pour configurer ulimit du contrôleur d'instance à 65536 fichiers lors de la création du cluster.
#!/bin/bash for user in hadoop spark hive; do sudo tee /etc/security/limits.d/$user.conf << EOF $user - nofile 65536 $user - nproc 65536 EOF done for proc in instancecontroller logpusher; do sudo mkdir -p /etc/systemd/system/$proc.service.d/ sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF [Service] LimitNOFILE=65536 LimitNPROC=65536 EOF pid=$(pgrep -f aws157.$proc.Main) sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535 done sudo systemctl daemon-reload
-
Mise à l'échelle gérée
Les opérations de mise à l'échelle gérées sur des clusters 5.30.0 et 5.30.1 sans Presto installé peuvent provoquer des défaillances d'applications ou empêcher le maintien d'un groupe d'instances ou d'une flotte d'instances uniforme dans l'état
ARRESTED
, en particulier lorsqu'une opération de réduction est rapidement suivie d'une opération d'augementation.Pour contourner le problème, choisissez Presto comme application à installer lorsque vous créez un cluster avec les versions 5.30.0 et 5.30.1 d'Amazon EMR, même si votre travail ne nécessite pas Presto.
-
Problème connu dans les clusters dotés de plusieurs nœuds primaires et d'une authentification Kerberos
Si vous exécutez des clusters avec plusieurs nœuds primaires et une authentification Kerberos dans les versions 5.20.0 et ultérieures d'Amazon EMR, vous pouvez rencontrer des problèmes avec des opérations de cluster telles que la réduction d'échelle ou la soumission d'étapes, après que le cluster ait fonctionné pendant un certain temps. La durée dépend de la période de validité du ticket Kerberos que vous avez définie. Le problème de réduction d'échelle a un impact à la fois sur la réduction d'échelle automatique et sur les demandes de réduction d'échelle explicites que vous avez soumises. D'autres opérations de cluster peuvent également être affectées.
Solution :
-
SSH en tant qu'utilisateur
hadoop
au nœud primaire du cluster EMR avec plusieurs nœuds primaires. -
Exécutez la commande suivante pour renouveler le ticket Kerberos pour l'utilisateur
hadoop
.kinit -kt <keytab_file> <principal>
Généralement, le fichier keytab se trouve dans
/etc/hadoop.keytab
et le principal se présente sous la forme dehadoop/<hostname>@<REALM>
.
Note
Cette solution de contournement sera effective pendant toute la durée de validité du ticket Kerberos. Cette durée est de 10 heures par défaut, mais peut être configurée par vos paramètres Kerberos. Vous devez exécuter à nouveau la commande ci-dessus une fois le ticket Kerberos expiré.
-
Le moteur de base de données par défaut pour Hue 4.6.0 est SQLite, ce qui pose des problèmes lorsque vous essayez d'utiliser Hue avec une base de données externe. Pour résoudre ce problème, définissez
engine
de votre configuration de classificationhue-ini
surmysql
. Ce problème a été résolu dans la version 5.30.1 d'Amazon EMR.Lorsque vous utilisez Spark avec le formatage de l'emplacement de partition Hive pour lire des données dans Amazon S3, et que vous exécutez Spark sur les versions 5.30.0 à 5.36.0 et 6.2.0 à 6.9.0 d'Amazon EMR, vous pouvez rencontrer un problème qui empêche votre cluster de lire correctement les données. Cela peut se produire si vos partitions présentent toutes les caractéristiques suivantes :
-
Deux partitions ou plus sont analysées à partir de la même table.
-
Au moins un chemin de répertoire de partition est un préfixe d'au moins un autre chemin de répertoire de partition, par exemple,
s3://bucket/table/p=a
est un préfixe des3://bucket/table/p=a b
. -
Le premier caractère qui suit le préfixe dans le répertoire de l'autre partition a une valeur UTF-8 inférieure au caractère
/
(U+002F). Par exemple, le caractère d'espace (U+0020) qui apparaît entre a et b danss3://bucket/table/p=a b
entre dans cette catégorie. Notez qu'il existe 14 autres caractères de non-contrôle :!"#$%&‘()*+,-
. Pour plus d'informations, consultez Table de codage UTF-8 et les caractères Unicode.
Pour contourner ce problème, définissez la configuration
spark.sql.sources.fastS3PartitionDiscovery.enabled
surfalse
dans la classificationspark-defaults
.-
Versions des composants 5.30.0
Les composants installés par Amazon EMR avec cette version sont répertoriés ci-dessous. Certains sont installés dans le cadre de packages d'application de Big Data. Les autres sont propres à Amazon EMR et installés pour les fonctions et processus système. Ceux-ci commencent généralement par emr
ou aws
. Les packages d'application de big data de la version Amazon EMR la plus récente sont généralement la dernière version trouvée dans la communauté. Nous nous efforçons de mettre à disposition les versions de la communauté dans Amazon EMR le plus rapidement possible.
Certains composants dans Amazon EMR diffèrent des versions de la communauté. Ces composants ont une étiquette de version sous la forme
. CommunityVersion
-amzn-EmrVersion
commence à 0. Par exemple, si un composant de la communauté open source nommé EmrVersion
myapp-component
avec la version 2.2 a été modifié trois fois en vue de son inclusion dans différentes versions d'Amazon EMR, sa version apparaît sous le nom 2.2-amzn-2
.
Composant | Version | Description |
---|---|---|
aws-sagemaker-spark-sdk | 1.3.0 | Kit de développement logiciel Amazon SageMaker Spark |
emr-ddb | 4.14.0 | Connecteur Amazon DynamoDB pour les applications de l'écosystème Hadoop. |
emr-goodies | 2.13.0 | Bibliothèques proposant plus de commodités pour l'écosystème Hadoop. |
emr-kinesis | 3.5.0 | Connecteur Amazon Kinesis pour les applications de l'écosystème Hadoop. |
emr-notebook-env | 1.0.0 | Environnement Conda pour bloc-notes emr |
emr-s3-dist-cp | 2.14.0 | Application de copie distribuée optimisée pour Amazon S3. |
emr-s3-select | 1.5.0 | Connecteur S3Select EMR |
emrfs | 2.40.0 | Connecteur Amazon S3 pour les applications de l'écosystème Hadoop. |
flink-client | 1.10.0 | Applications et scripts client de la ligne de commande Apache Flink. |
ganglia-monitor | 3.7.2 | Agent Ganglia intégré pour les applications de l'écosystème Hadoop avec agent de surveillance Ganglia. |
ganglia-metadata-collector | 3.7.2 | Collecteur de métadonnées Ganglia pour agréger les métriques des agents de surveillance Ganglia. |
ganglia-web | 3.7.1 | Application web pour afficher les métriques collectées par le collecteur de métadonnées Ganglia. |
hadoop-client | 2.8.5-amzn-6 | Clients de ligne de commande Hadoop tels que « hdfs », « hadoop » ou « yarn ». |
hadoop-hdfs-datanode | 2.8.5-amzn-6 | HDFS node-level service for storing blocks. |
hadoop-hdfs-library | 2.8.5-amzn-6 | Bibliothèque et client de ligne de commande HDFS |
hadoop-hdfs-namenode | 2.8.5-amzn-6 | Service HDFS pour le suivi des noms de fichier et des emplacements de bloc. |
hadoop-hdfs-journalnode | 2.8.5-amzn-6 | Service HDFS pour la gestion du journal du système de fichiers Hadoop sur les clusters HA. |
hadoop-httpfs-server | 2.8.5-amzn-6 | Point de terminaison HTTP pour les opérations HDFS. |
hadoop-kms-server | 2.8.5-amzn-6 | Serveur de gestion des clés cryptographiques basé sur l'API de Hadoop. KeyProvider |
hadoop-mapred | 2.8.5-amzn-6 | MapReduce bibliothèques de moteurs d'exécution pour exécuter une MapReduce application. |
hadoop-yarn-nodemanager | 2.8.5-amzn-6 | Service YARN pour la gestion de conteneurs sur un nœud individuel. |
hadoop-yarn-resourcemanager | 2.8.5-amzn-6 | Service YARN pour l'allocation et la gestion des ressources de cluster et des applications distribuées. |
hadoop-yarn-timeline-server | 2.8.5-amzn-6 | Service de récupération d'informations actuelles et historiques pour les applications YARN. |
hbase-hmaster | 1.4.13 | Service pour un HBase cluster chargé de la coordination des régions et de l'exécution des commandes administratives. |
hbase-region-server | 1.4.13 | Service pour desservir une ou plusieurs HBase régions. |
hbase-client | 1.4.13 | HBase client en ligne de commande. |
hbase-rest-server | 1.4.13 | Service fournissant un point de terminaison RESTful HTTP pour HBase. |
hbase-thrift-server | 1.4.13 | Service fournissant un point de terminaison Thrift pour. HBase |
hcatalog-client | 2.3.6-amzn-2 | Client de ligne de commande « hcat » pour la manipulation de hcatalog-server. |
hcatalog-server | 2.3.6-amzn-2 | Fourniture de services HCatalog, table et couche de gestion du stockage pour les applications distribuées. |
hcatalog-webhcat-server | 2.3.6-amzn-2 | Point de terminaison HTTP fournissant une interface REST pour HCatalog. |
hive-client | 2.3.6-amzn-2 | Client de ligne de commande Hive. |
hive-hbase | 2.3.6-amzn-2 | Client Hive-hbase. |
hive-metastore-server | 2.3.6-amzn-2 | Service pour accéder au metastore Hive, référentiel sémantique stockant des métadonnées pour SQL sur les opérations Hadoop. |
hive-server2 | 2.3.6-amzn-2 | Service pour l'acceptation de requêtes Hive en tant que requêtes web. |
hudi | 0.5.2-incubating | Infrastructure de traitement incrémentiel pour implémenter un pipeline à faible latence et à efficacité élevée. |
hudi-presto | 0.5.2-incubating | Bibliothèque de solution groupée pour exécuter Presto avec Hudi. |
hue-server | 4.6.0 | Application web pour l'analyse des données à l'aide d'applications de l'écosystème Hadoop |
jupyterhub | 1.1.0 | Serveur multi-utilisateurs pour blocs-notes Jupyter |
livy-server | 0.7.0-incubating | Interface REST pour interagir avec Apache Spark |
nginx | 1.12.1 | nginx [engine x] est un serveur HTTP et à proxy inverse |
mahout-client | 0.13.0 | Bibliothèque pour la technologie Machine Learning. |
mxnet | 1.5.1 | Bibliothèque flexible, évolutive et efficace pour le deep learning. |
mariadb-server | 5.5.64 | Serveur de base de données MySQL. |
nvidia-cuda | 9.2.88 | Pilotes Nvidia et boîte à outils Cuda |
oozie-client | 5.2.0 | Client de ligne de commande Oozie. |
oozie-server | 5.2.0 | Service pour l'acceptation des demandes de flux de travail Oozie. |
opencv | 3.4.0 | Bibliothèque open source Vision par ordinateur |
phoenix-library | 4,14,3- -1,4 HBase | Les bibliothèques phoenix pour serveur et client |
phoenix-query-server | 4,14,3- -1,4 HBase | Un serveur léger fournissant un accès JDBC, ainsi qu'un accès au format JSON et de tampons de protocole, à l'API Avatica |
presto-coordinator | 0.232 | Service pour accepter les requêtes et gérer l'exécution des requêtes des composants presto-worker. |
presto-worker | 0.232 | Service pour exécuter les éléments d'une requête. |
presto-client | 0.232 | Client de ligne de commande Presto installé sur les maîtres de secours d'un cluster haute disponibilité où le serveur Presto n'est pas démarré. |
pig-client | 0.17.0 | Client de ligne de commande Pig. |
r | 3.4.3 | Projet R pour les calculs statistiques |
ranger-kms-server | 1.2.0 | Système de gestion des clés Apache Ranger |
spark-client | 2.4.5-amzn-0 | Clients de ligne de commande Spark. |
spark-history-server | 2.4.5-amzn-0 | Interface web pour afficher des événements enregistrés pour la durée de vie d'une application Spark terminée. |
spark-on-yarn | 2.4.5-amzn-0 | Moteur d'exécution en mémoire pour YARN. |
spark-yarn-slave | 2.4.5-amzn-0 | Bibliothèques Apache Spark requises par les esclaves YARN. |
sqoop-client | 1.4.7 | Client de ligne de commande Apache Sqoop. |
tensorflow | 1.14.0 | TensorFlow bibliothèque de logiciels open source pour le calcul numérique de haute performance. |
tez-on-yarn | 0.9.2 | Les bibliothèques et l'application tez YARN. |
webserver | 2.4.25+ | Serveur HTTP Apache. |
zeppelin-server | 0.8.2 | Portable basé sur le web qui permet l'analyse de données interactives. |
zookeeper-server | 3.4.14 | Service centralisé conçu pour la conservation des informations de configuration, l'affectation de noms, la synchronisation distribuée et la fourniture de services de groupe. |
zookeeper-client | 3.4.14 | ZooKeeper client en ligne de commande. |
Classifications des configurations 5.30.0
Les classifications de configuration vous permettent de personnaliser les applications. Elles correspondent souvent à un fichier XML de configuration de l'application, tel que hive-site.xml
. Pour de plus amples informations, veuillez consulter Configuration des applications.
Classifications | Description |
---|---|
capacity-scheduler | Modifiez les valeurs dans le fichier capacity-scheduler.xml de Hadoop. |
container-log4j | Modifiez les valeurs dans le fichier container-log4j.properties de Hadoop YARN. |
core-site | Modifiez les valeurs dans le fichier core-site.xml de Hadoop. |
emrfs-site | Modifiez les paramètres EMRFS. |
flink-conf | Modifiez les paramètres flink-conf.yaml. |
flink-log4j | Modifiez les paramètres log4j.properties Flink. |
flink-log4j-yarn-session | Modifiez les paramètres du j-yarn-session fichier .properties de Flink log4. |
flink-log4j-cli | Modifiez les paramètres de propriétés Flink log4j-cli. |
hadoop-env | Modifiez les valeurs dans l'environnement Hadoop pour tous les composants Hadoop. |
hadoop-log4j | Modifiez les valeurs dans le fichier log4j.properties de Hadoop. |
hadoop-ssl-server | Modifier la configuration du serveur ssl hadoop |
hadoop-ssl-client | Modifier la configuration du client ssl hadoop |
hbase | Paramètres sélectionnés par Amazon EMR pour Apache. HBase |
hbase-env | Changez les valeurs dans HBase l'environnement. |
hbase-log4j | Modifiez les valeurs dans le fichier HBase hbase-log4j.properties. |
hbase-metrics | Modifiez les valeurs dans le fichier HBase hadoop-metrics2-hbase.properties. |
hbase-policy | Modifiez les valeurs dans HBase le fichier hbase-policy.xml. |
hbase-site | Modifiez les valeurs dans HBase le fichier hbase-site.xml. |
hdfs-encryption-zones | Configurez les zones de chiffrement HDFS. |
hdfs-site | Modifiez les valeurs dans le fichier hdfs-site.xml de HDFS. |
hcatalog-env | Changez les valeurs dans HCatalog l'environnement. |
hcatalog-server-jndi | Modifiez les valeurs dans le fichier HCatalog jndi.properties. |
hcatalog-server-proto-hive-site | Modifiez les valeurs dans le HCatalog proto-hive-site fichier .xml. |
hcatalog-webhcat-env | Modifiez les valeurs dans HCat l'environnement HCatalog Web. |
hcatalog-webhcat-log4j2 | Modifiez les valeurs dans HCatalog HCat log4j2.properties du Web. |
hcatalog-webhcat-site | Modifiez les valeurs dans HCatalog le fichier webhcat-site.xml HCat du Web. |
hive-beeline-log4j2 | Modifiez les valeurs dans le fichier beeline-log4j2.properties de Hive. |
hive-parquet-logging | Modifiez les valeurs dans le fichier parquet-logging.properties de Hive. |
hive-env | Modifiez les valeurs dans l'environnement Hive. |
hive-exec-log4j2 | Modifiez les valeurs dans le fichier hive-exec-log 4j2.properties de Hive. |
hive-llap-daemon-log4j2 | Modifiez les valeurs dans le fichier llap-daemon-log 4j2.properties de Hive. |
hive-log4j2 | Modifiez les valeurs dans le fichier hive-log4j2.properties de Hive. |
hive-site | Modifiez les valeurs dans le fichier hive-site.xml de Hive |
hiveserver2-site | Modifiez les valeurs dans le fichier hiveserver2-site.xml de Hive Server2 |
hue-ini | Modifiez les valeurs dans le fichier ini de Hue |
httpfs-env | Modifiez les valeurs dans l'environnement HTTPFS. |
httpfs-site | Modifiez les valeurs dans le fichier httpfs-site.xml de Hadoop. |
hadoop-kms-acls | Modifiez les valeurs dans le fichier kms-acls.xml de Hadoop. |
hadoop-kms-env | Modifiez les valeurs dans l'environnement KMS de Hadoop. |
hadoop-kms-log4j | Modifiez les valeurs dans le fichier kms-log4j.properties de Hadoop. |
hadoop-kms-site | Modifiez les valeurs dans le fichier kms-site.xml de Hadoop. |
hudi-env | Modifiez les valeurs dans l'environnement Hudi. |
jupyter-notebook-conf | Modifiez les valeurs dans le fichier jupyter_notebook_config.py de Jupyter Notebook. |
jupyter-hub-conf | Modifiez les valeurs dans JupyterHubs le fichier jupyterhub_config.py. |
jupyter-s3-conf | Configuration de la persistance S3 de bloc-notes Jupyter. |
jupyter-sparkmagic-conf | Modifiez les valeurs dans le fichier config.json de Sparkmagic. |
livy-conf | Modifiez les valeurs dans le fichier livy.conf de Livy. |
livy-env | Modifiez les valeurs dans l'environnement Livy. |
livy-log4j | Modifiez les paramètres Livy log4j.properties. |
mapred-env | Modifiez les valeurs dans l'environnement de l' MapReduce application. |
mapred-site | Modifiez les valeurs dans le fichier mapred-site.xml de l' MapReduce application. |
oozie-env | Modifiez les valeurs dans l'environnement d'Oozie. |
oozie-log4j | Modifier les valeurs dans le fichier oozie-log4j.properties d'Oozie. |
oozie-site | Modifiez les valeurs dans le fichier oozie-site.xml d'Oozie. |
phoenix-hbase-metrics | Modifiez les valeurs dans le fichier hadoop-metrics2-hbase.properties de Phoenix. |
phoenix-hbase-site | Modifiez les valeurs dans le fichier hbase-site.xml de Phoenix. |
phoenix-log4j | Modifiez les valeurs dans le fichier log4j.properties de Phoenix. |
phoenix-metrics | Modifiez les valeurs dans le fichier hadoop-metrics2-phoenix.properties de Phoenix. |
pig-env | Modifiez les valeurs dans l'environnement Pig. |
pig-properties | Modifiez les valeurs dans le fichier pig.properties de Pig. |
pig-log4j | Modifiez les valeurs dans le fichier log4j.properties de Pig. |
presto-log | Modifiez les valeurs dans le fichier log.properties de Presto. |
presto-config | Modifiez les valeurs dans le fichier config.properties de Presto. |
presto-password-authenticator | Modifiez les valeurs dans le fichier password-authenticator.properties de Presto. |
presto-env | Modifiez les valeurs dans le fichier presto-env.sh de Presto. |
presto-node | Modifiez les valeurs dans le fichier node.properties de Presto. |
presto-connector-blackhole | Modifiez les valeurs dans le fichier blackhole.properties de Presto. |
presto-connector-cassandra | Modifiez les valeurs dans le fichier cassandra.properties de Presto. |
presto-connector-hive | Modifiez les valeurs dans le fichier hive.properties de Presto. |
presto-connector-jmx | Modifiez les valeurs dans le fichier jmx.properties de Presto. |
presto-connector-kafka | Modifiez les valeurs dans le fichier kafka.properties de Presto. |
presto-connector-localfile | Modifiez les valeurs dans le fichier localfile.properties de Presto. |
presto-connector-memory | Modifiez les valeurs dans le fichier memory.properties de Presto. |
presto-connector-mongodb | Modifiez les valeurs dans le fichier mongodb.properties de Presto. |
presto-connector-mysql | Modifiez les valeurs dans le fichier mysql.properties de Presto. |
presto-connector-postgresql | Modifiez les valeurs dans le fichier postgresql.properties de Presto. |
presto-connector-raptor | Modifiez les valeurs dans le fichier raptor.properties de Presto. |
presto-connector-redis | Modifiez les valeurs dans le fichier redis.properties de Presto. |
presto-connector-redshift | Modifiez les valeurs dans le fichier redshift.properties de Presto. |
presto-connector-tpch | Modifiez les valeurs dans le fichier tpch.properties de Presto. |
presto-connector-tpcds | Modifiez les valeurs dans le fichier tpcds.properties de Presto. |
ranger-kms-dbks-site | Modifiez les valeurs dans le fichier dbks-site.xml de Ranger KMS. |
ranger-kms-site | Modifiez les valeurs dans le fichier ranger-kms-site .xml de Ranger KMS. |
ranger-kms-env | Modifiez les valeurs dans l'environnement Ranger KMS. |
ranger-kms-log4j | Modifiez les valeurs dans le fichier kms-log4j.properties de Ranger KMS. |
ranger-kms-db-ca | Modifiez les valeurs du fichier CA sur S3 pour la connexion SSL MySQL avec Ranger KMS. |
recordserver-env | Modifiez les valeurs dans l'environnement EMR. RecordServer |
recordserver-conf | Modifiez les valeurs dans le fichier erver.properties RecordServer de l'EMR. |
recordserver-log4j | Modifiez les valeurs dans le fichier log4j.properties RecordServer de l'EMR. |
spark | Paramètres définis par Amazon EMR pour Apache Spark. |
spark-defaults | Modifiez les valeurs dans le fichier spark-defaults.conf de Spark. |
spark-env | Modifiez les valeurs dans l'environnement Spark. |
spark-hive-site | Modifiez les valeurs dans le fichier hive-site.xml de Spark |
spark-log4j | Modifiez les valeurs dans le fichier log4j.properties de Spark. |
spark-metrics | Modifiez les valeurs dans le fichier metrics.properties de Spark. |
sqoop-env | Modifiez les valeurs d'environnement Sqoop. |
sqoop-oraoop-site | Modifiez les valeurs dans le fichier oraoop-site.xml de OraOop Sqoop. |
sqoop-site | Modifiez les valeurs dans le fichier sqoop-site.xml de Sqoop. |
tez-site | Modifiez les valeurs dans le fichier tez-site.xml de Tez. |
yarn-env | Modifiez les valeurs dans l'environnement YARN. |
yarn-site | Modifiez les valeurs dans le fichier yarn-site.xml de YARN. |
zeppelin-env | Modifiez les valeurs dans l'environnement Zeppelin. |
zookeeper-config | Modifiez les valeurs dans ZooKeeper le fichier zoo.cfg. |
zookeeper-log4j | Modifiez les valeurs dans le ZooKeeper fichier log4j.properties. |