View a markdown version of this page

Comprendre le chiffrement en transit - Amazon EMR
SparkFIL HadoopHadoop HDFSHadoop MapReducePrestoTrinoHive et TezFlinkHBasePhoenixOozieHueLivyJupyterEnterpriseGatewayJupyterHubZeppelinZookeeper

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Comprendre le chiffrement en transit

Vous pouvez configurer un cluster EMR pour exécuter des frameworks open source tels qu'Apache Spark, Apache Hive et Presto. Chacun de ces frameworks open source possède un ensemble de processus exécutés sur les instances EC2 d'un cluster. Chacun de ces processus peut héberger des points de terminaison réseau pour la communication réseau.

Si le chiffrement en transit est activé sur un cluster EMR, les différents points de terminaison du réseau utilisent des mécanismes de chiffrement différents. Consultez les sections suivantes pour en savoir plus sur les points de terminaison réseau open source spécifiques pris en charge par le chiffrement en transit, les mécanismes de chiffrement associés et la version d'Amazon EMR qui a ajouté le support. Chaque application open source peut également présenter des bonnes pratiques et des configurations de framework open source différentes que vous pouvez modifier.

Pour bénéficier de la meilleure couverture de chiffrement en transit, nous vous recommandons d'activer à la fois le chiffrement en transit et Kerberos. Si vous activez uniquement le chiffrement en transit, celui-ci ne sera disponible que pour les points de terminaison du réseau qui prennent en charge le protocole TLS. Kerberos est nécessaire car certains points de terminaison du réseau à infrastructure open source utilisent la couche d'authentification et de sécurité simple (SASL) pour le chiffrement en transit.

Notez que tous les frameworks open source non pris en charge dans les versions 7.x.x d'Amazon EMR ne sont pas inclus.

Spark

Lorsque vous activez le chiffrement en transit dans les configurations de sécurité, spark.authenticate il est automatiquement configuré sur true et utilise le AES-based chiffrement pour les connexions RPC.

À partir d'Amazon EMR 7.3.0, si vous utilisez le chiffrement en transit et l'authentification Kerberos, vous ne pouvez pas utiliser les applications Spark qui dépendent du métastore Hive. Hive 3 résout ce problème dans HIVE-16340. HIVE-44114résout complètement ce problème lorsque Spark open source peut passer à Hive 3. En attendant, vous pouvez configurer cette false option hive.metastore.use.SSL pour contourner ce problème. Pour plus d'informations, consultez Configuration des applications.

Pour plus d'informations, consultez la section Sécurité de Spark dans la documentation d'Apache Spark.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

Serveur d'historique Spark

spark.ssl.history.port

18480

TLS

emr-5.3.0+, emr-6.0.0+, emr-7.0.0+

Interface utilisateur Spark

spark.ui.port

4440

TLS

emr-5.3.0+, emr-6.0.0+, emr-7.0.0+

Pilote Spark

spark.driver.port

Répartition dynamique

AES-based Chiffrement Spark

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

Exécuteur Spark

Port de l'exécuteur (aucune configuration nommée)

Répartition dynamique

AES-based Chiffrement Spark

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

FIL NodeManager

spark.shuffle.service.port 1

7337

AES-based Chiffrement Spark

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

1 spark.shuffle.service.port est hébergé sur YARN NodeManager mais n'est utilisé que par Apache Spark.

Problème connu

Sur les clusters activés en transit, la spark.yarn.historyServer.address configuration utilise actuellement le port18080, ce qui empêche l'accès à l'interface utilisateur de l'application Spark à l'aide de l'URL de suivi YARN. Version affectée : EMR - 7.3.0 à EMR - 7.9.0.

Utilisez la solution suivante :

  1. Modifiez la spark.yarn.historyServer.address configuration /etc/spark/conf/spark-defaults.conf pour utiliser le numéro de HTTPS port 18480 sur un cluster en cours d'exécution.

  2. Cela peut également être fourni dans les modifications de configuration lors du lancement du cluster.

Exemple de configuration :

[
                               {
                                 "Classification": "spark-defaults",
                                 "Properties": {
                                     "spark.yarn.historyServer.address": "${hadoopconf-yarn.resourcemanager.hostname}:18480"
                                 }
                               }
  
                               ]

FIL Hadoop

Secure Hadoop RPC est configuré privacy et utilise SASL-based le chiffrement en transit. Cela nécessite que l'authentification Kerberos soit activée dans la configuration de sécurité. Si vous ne souhaitez pas de chiffrement en transit pour Hadoop RPC, configurez. hadoop.rpc.protection = authentication Nous vous recommandons d'utiliser la configuration par défaut pour une sécurité maximale.

Si vos certificats TLS ne répondent pas aux exigences de vérification du nom d'hôte TLS, vous pouvez les configurer. hadoop.ssl.hostname.verifier = ALLOW_ALL Nous vous recommandons d'utiliser la configuration par défaut dehadoop.ssl.hostname.verifier = DEFAULT, qui applique la vérification du nom d'hôte TLS.

Pour désactiver le protocole HTTPS pour les points de terminaison de l'application Web YARN, configurezyarn.http.policy = HTTP_ONLY. Ainsi, le trafic vers ces points de terminaison n'est pas chiffré. Nous vous recommandons d'utiliser la configuration par défaut pour une sécurité maximale.

Pour plus d'informations, consultez Hadoop en mode sécurisé dans la documentation Apache Hadoop.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

ResourceManager

yarn.resourcemanager.webapp.address

8088

TLS

emr-7.3.0+

ResourceManager

yarn.resourcemanager.resource-tracker.address

8025

SASL et Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

ResourceManager

yarn.resourcemanager.scheduler.address

8030

SASL et Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

ResourceManager

yarn.resourcemanager.address

8032

SASL et Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

ResourceManager

yarn.resourcemanager.admin.address

8033

SASL et Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

TimelineServer

yarn.timeline-service.address

10200

SASL et Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

TimelineServer

yarn.timeline-service.webapp.address

8188

TLS

emr-7.3.0+

WebApplicationProxy

yarn.web-proxy.address

20888

SASL et Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

NodeManager

yarn.nodemanager.address

8041

SASL et Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

NodeManager

yarn.nodemanager.localizer.address

8040

SASL et Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

NodeManager

yarn.nodemanager.webapp.address

8044

TLS

emr-7.3.0+

NodeManager

mapreduce.shuffle.port 1

13562

TLS

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

NodeManager

spark.shuffle.service.port 2

7337

AES-based Chiffrement Spark

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

1 mapreduce.shuffle.port est hébergé sur YARN NodeManager mais n'est utilisé que par Hadoop MapReduce.

2 spark.shuffle.service.port est hébergé sur YARN NodeManager mais n'est utilisé que par Apache Spark.

Problème connu

La yarn.log.server.url configuration de utilise actuellement le protocole HTTP avec le port 19888, ce qui empêche l'accès aux journaux des applications depuis l'interface utilisateur du gestionnaire de ressources. Version affectée : EMR - 7.3.0 à EMR - 7.8.0.

Utilisez la solution suivante :

  1. Modifiez la yarn.log.server.url configuration yarn-site.xml pour utiliser le HTTPS protocole et le numéro de port19890.

  2. Redémarrez le gestionnaire de ressources YARN :sudo systemctl restart hadoop-yarn-resourcemanager.service.

Hadoop HDFS

Le nœud de nom, le nœud de données et le nœud de journal Hadoop prennent tous en charge le protocole TLS par défaut si le chiffrement en transit est activé dans les clusters EMR.

Secure Hadoop RPC est configuré sur privacy et utilise SASL-based le chiffrement en transit. Cela nécessite que l'authentification Kerberos soit activée dans la configuration de sécurité.

Nous vous recommandons de ne pas modifier les ports par défaut utilisés pour les points de terminaison HTTPS.

Le chiffrement des données lors du transfert par blocs HDFS utilise la norme AES 256 et nécessite que le chiffrement au repos soit activé dans la configuration de sécurité.

Pour plus d'informations, consultez Hadoop en mode sécurisé dans la documentation Apache Hadoop.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

Nœud de nom

dfs.namenode.https://adresse-https

9871

TLS

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

Nœud de nom

dfs.namenode.rpc-address

8020

SASL et Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

Node de données

dfs.datanode.https.address

9865

TLS

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

Node de données

dfs.datanode.address

9866

SASL et Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

Nœud de journal

dfs.journalnode.https://adresse-https

8481

TLS

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

Nœud de journal

dfs.journalnode.rpc - adresse

8485

SASL et Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

DFSZKFailoverController

dfs.ha.zkfc.port

8019

Aucune

Le protocole TLS pour ZKFC n'est pris en charge que dans Hadoop 3.4.0. Pour plus d’informations, consultez HADOOP-18919. La version 7.1.0 d'Amazon EMR est actuellement disponible sur Hadoop 3.3.6. Les versions supérieures d'Amazon EMR seront disponibles sur Hadoop 3.4.0 à l'avenir

Hadoop MapReduce

Hadoop MapReduce, le serveur d'historique des tâches et MapReduce Shuffle prennent tous en charge le protocole TLS par défaut lorsque le chiffrement en transit est activé dans les clusters EMR.

Le shuffle MapReduce chiffré Hadoop utilise le protocole TLS.

Nous vous recommandons de ne pas modifier les ports par défaut pour les points de terminaison HTTPS.

Pour plus d'informations, consultez Hadoop en mode sécurisé dans la documentation Apache Hadoop.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

JobHistoryServer

mapreduce.jobhistory.webapp.https.address

19890

TLS

emr-7.3.0+

FIL NodeManager

mapreduce.shuffle.port 1

13562

TLS

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

1 mapreduce.shuffle.port est hébergé sur YARN NodeManager mais n'est utilisé que par Hadoop MapReduce.

Presto

Dans les versions 5.6.0 et supérieures d'Amazon EMR, la communication interne entre le coordinateur Presto et les collaborateurs utilise le protocole TLS. Amazon EMR configure toutes les configurations requises pour permettre une communication interne sécurisée dans Presto.

Si le connecteur utilise la métastore Hive comme magasin de métadonnées, la communication entre le communicateur et la métastore Hive est également cryptée avec TLS.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

Coordinateur Presto

http-server.https.port

8446

TLS

emr-5.6.0+, emr-6.0.0+, emr-7.0.0+

Travailleur Presto

http-server.https.port

8446

TLS

emr-5.6.0+, emr-6.0.0+, emr-7.0.0+

Trino

Dans les versions 6.1.0 et supérieures d'Amazon EMR, la communication interne entre le coordinateur Presto et les employés utilise le protocole TLS. Amazon EMR met en place toutes les configurations requises pour permettre une communication interne sécurisée dans Trino.

Si le connecteur utilise la métastore Hive comme magasin de métadonnées, la communication entre le communicateur et la métastore Hive est également cryptée avec TLS.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

Coordinateur Trino

http-server.https.port

8446

TLS

emr-6.1.0+, emr-7.0.0+

Travailleur de Trino

http-server.https.port

8446

TLS

emr-6.1.0+, emr-7.0.0+

Hive et Tez

Par défaut, le serveur Hive 2, le serveur Hive Metastore, l'interface utilisateur Web Hive LLAP Daemon et Hive LLAP shuffle prennent tous en charge le protocole TLS lorsque le chiffrement en transit est activé dans les clusters EMR. Pour plus d'informations sur les configurations Hive, consultez la section Propriétés de configuration.

L'interface utilisateur Tez qui est hébergée sur le serveur Tomcat est également utilisée HTTPS-enabled lorsque le chiffrement en transit est activé dans le cluster EMR. Cependant, HTTPS est désactivé pour le service d'interface utilisateur Web Tez AM, de sorte que les utilisateurs AM n'ont pas accès au fichier keystore de l'écouteur SSL qui s'ouvre. Vous pouvez également activer ce comportement avec les configurations tez.am.tez-ui.webservice.enable.ssl booléennes et. tez.am.tez-ui.webservice.enable.client.auth

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

HiveServer2

hive.server2.thrift.port

10 000

TLS

emr-6.9.0+, emr-7.0.0+

HiveServer2

hive.server2.thrift.http.port

10001

TLS

emr-6.9.0+, emr-7.0.0+

HiveServer2

hive.server2.webui.port

10002

TLS

emr-7.3.0 et versions ultérieures

HiveMetastoreServer

hive.metastore.port

9083

TLS

emr-7.3.0+

Démon LLAP

hive.llap.daemon.yarn.shuffle.port

15551

TLS

emr-7.3.0+

Démon LLAP

hive.llap.daemon.web.port

15002

TLS

emr-7.3.0+

Démon LLAP

hive.llap.daemon.output.service.port

15003

Aucune

Hive ne prend pas en charge le chiffrement en transit pour ce terminal

Démon LLAP

hive.llap.management.rpc.port

15004

Aucune

Hive ne prend pas en charge le chiffrement en transit pour ce terminal

Démon LLAP

hive.llap.plugin.rpc.port

Répartition dynamique

Aucune

Hive ne prend pas en charge le chiffrement en transit pour ce terminal

Démon LLAP

hive.llap.daemon.rpc.port

Répartition dynamique

Aucune

Hive ne prend pas en charge le chiffrement en transit pour ce terminal

WebHcat

templeton.port

50111

TLS

emr-7.3.0+

Maître de l'application Tea

tez.am.client.am.port-range

tez.am.task.am.portrange

Répartition dynamique

Aucune

Tez ne prend pas en charge le chiffrement en transit pour ce terminal

Maître de l'application Tea

tez.am.tez-ui.webservice.port-range

Répartition dynamique

Aucune

Ce paramètre est désactivé par défaut. Peut être activé à l'aide des configurations Tez dans emr-7.3.0+

Tâche Tea

N/A - non configurable

Répartition dynamique

Aucune

Tez ne prend pas en charge le chiffrement en transit pour ce terminal

Interface utilisateur Tez

Configurable via le serveur Tomcat sur lequel l'interface utilisateur de Tez est hébergée

8080

TLS

emr-7.3.0+

Les points de terminaison REST Apache Flink et les communications internes entre les processus Flink prennent en charge le protocole TLS par défaut lorsque vous activez le chiffrement en transit dans les clusters EMR.

security.ssl.internal.enabledest configuré sur true et utilise le chiffrement en transit pour les communications internes entre les processus Flink. Si vous ne souhaitez pas utiliser le chiffrement en transit pour les communications internes, désactivez cette configuration. Nous vous recommandons d'utiliser la configuration par défaut pour une sécurité maximale.

Amazon EMR définit true et utilise security.ssl.rest.enabled le chiffrement en transit pour les points de terminaison REST. En outre, Amazon EMR définit également la valeur true historyserver.web.ssl.enabled pour utiliser la communication TLS avec le serveur d'historique Flink. Si vous ne souhaitez pas de chiffrement en transit pour les points REST, désactivez ces configurations. Nous vous recommandons d'utiliser la configuration par défaut pour une sécurité maximale.

Amazon EMR utilise security.ssl.algorithms. pour spécifier la liste des chiffrements qui utilisent le chiffrement. AES-based Remplacez cette configuration pour utiliser les chiffrements souhaités.

Pour plus d'informations, consultez la section Configuration SSL dans la documentation Flink.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

Serveur d'historique Flink

historyserver.web.port

8082

TLS

emr-7.3.0+

Serveur Rest Job Manager

rest.bind-port

port de repos

Répartition dynamique

TLS

emr-7.3.0+

HBase

Amazon EMR définit Secure Hadoop RPC sur. privacy hMaîtrisez et RegionServer utilisez le cryptage SASL-based en transit. Cela nécessite que l'authentification Kerberos soit activée dans la configuration de sécurité.

Amazon EMR prend la valeur true et utilise hbase.ssl.enabled le protocole TLS pour les points de terminaison de l'interface utilisateur. Si vous ne souhaitez pas utiliser le protocole TLS pour les points de terminaison de l'interface utilisateur, désactivez cette configuration. Nous vous recommandons d'utiliser la configuration par défaut pour une sécurité maximale.

Amazon EMR définit hbase.rest.ssl.enabled hbase.thrift.ssl.enabled et utilise le protocole TLS pour les points de terminaison des serveurs REST et Thirft, respectivement. Si vous ne souhaitez pas utiliser le protocole TLS pour ces points de terminaison, désactivez cette configuration. Nous vous recommandons d'utiliser la configuration par défaut pour une sécurité maximale.

À partir de la version 7.6.0 d'EMR, le protocole TLS est pris en charge sur HMaster et les endpoints. RegionServer Amazon EMR définit également hbase.server.netty.tls.enabled et. hbase.client.netty.tls.enabled Si vous ne souhaitez pas utiliser le protocole TLS pour ces points de terminaison, désactivez cette configuration. Nous vous recommandons d'utiliser la configuration par défaut, qui assure le chiffrement et donc une sécurité accrue. Pour en savoir plus, consultez la section Sécurité au niveau du transport (TLS) dans la communication HBase RPC dans le guide de référence Apache HBase.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

HMaster

HMaster

16000

SASL et Kerberos

TLS

SASL + Kerberos dans emr-4.8.0+, emr-5.0.0+, emr-6.0.0+ et emr-7.0.0+

TLS dans emr-7.6.0+

HMaster

Interface utilisateur de HMaster

16010

TLS

emr-7.3.0+

RegionServer

RegionServer

16020

SASL et Kerberos

TLS

SASL + Kerberos dans emr-4.8.0+, emr-5.0.0+, emr-6.0.0+ et emr-7.0.0+

TLS dans emr-7.6.0+

RegionServer

RegionServer Infos

16030

TLS

emr-7.3.0+

Serveur HBase Rest

Serveur Rest

8070

TLS

emr-7.3.0+

Serveur HBase Rest

Interface utilisateur Rest

8085

TLS

emr-7.3.0+

Serveur Hbase Thrift

Serveur Thrift

9090

TLS

emr-7.3.0+

Serveur Hbase Thrift

Interface utilisateur du serveur Thrift

9095

TLS

emr-7.3.0+

Phoenix

Si vous avez activé le chiffrement en transit dans votre cluster EMR, Phoenix Query Server prend en charge la propriété TLSphoenix.queryserver.tls.enabled, qui est définie par défaut. true

Pour en savoir plus, consultez la section Configurations relatives au HTTPS dans la documentation de Phoenix Query Server.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

Serveur de requêtes

phoenix.queryserver.http.port

8765

TLS

emr-7.3.0+

Oozie

OOZIE-3673est disponible sur Amazon EMR si vous exécutez Oozie sur Amazon EMR 7.3.0 et versions supérieures. Si vous devez configurer des protocoles SSL ou TLS personnalisés lorsque vous exécutez une action par e-mail, vous pouvez définir la propriété oozie.email.smtp.ssl.protocols dans le oozie-site.xml fichier. Par défaut, si vous avez activé le chiffrement en transit, Amazon EMR utilise le protocole TLS v1.3.

OOZIE-3677et OOZIE-3674 sont également disponibles sur Amazon EMR si vous exécutez Oozie sur Amazon EMR 7.3.0 et versions supérieures. Cela vous permet de spécifier les propriétés keyStoreType et d'trustStoreTypeentreroozie-site.xml. OOZIE-3674 ajoute le paramètre --insecure au client Oozie afin qu'il puisse ignorer les erreurs de certificat.

Oozie applique la vérification du nom d'hôte TLS, ce qui signifie que tout certificat que vous utilisez pour le chiffrement en transit doit répondre aux exigences de vérification du nom d'hôte. Si le certificat ne répond pas aux critères, il est possible que le cluster soit bloqué au oozie share lib update moment où Amazon EMR provisionne le cluster. Nous vous recommandons de mettre à jour vos certificats pour vous assurer qu'ils sont conformes à la vérification du nom d'hôte. Toutefois, si vous ne parvenez pas à mettre à jour les certificats, vous pouvez désactiver le protocole SSL pour Oozie en définissant la oozie.https.enabled propriété sur false dans la configuration du cluster.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

EmbeddedOozieServer

oozie.https.port

11443

TLS

emr-7.3.0+

EmbeddedOozieServer

oozie.email.smtp.port

25

TLS

emr-7.3.0+

Hue

Par défaut, Hue prend en charge le protocole TLS lorsque le chiffrement en transit est activé dans les clusters Amazon EMR. Pour plus d'informations sur les configurations Hue, voir Configurer Hue avec HTTPS/SSL.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

Hue

port_HTTP

8888

TLS

emr-7.4.0 et versions ultérieures

Livy

Par défaut, Livy prend en charge le protocole TLS lorsque le chiffrement en transit est activé dans les clusters Amazon EMR. Pour plus d'informations sur les configurations de Livy, consultez la section Activation du protocole HTTPS avec Apache Livy.

À partir d'Amazon EMR 7.3.0, si vous utilisez le chiffrement en transit et l'authentification Kerberos, vous ne pouvez pas utiliser le serveur Livy pour les applications Spark qui dépendent du métastore Hive. Ce problème est résolu HIVE-16340 et entièrement résolu SPARK-44114 lorsque l'application open source Spark peut être mise à niveau vers Hive 3. En attendant, vous pouvez contourner ce problème si vous avez réglé hive.metastore.use.SSL surfalse. Pour plus d'informations, consultez Configuration des applications.

Pour plus d'informations, consultez la section Activation du protocole HTTPS avec Apache Livy.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

livy-server

livy.server.port

8998

TLS

emr-7.4.0 et versions ultérieures

JupyterEnterpriseGateway

Par défaut, Jupyter Enterprise Gateway prend en charge le protocole TLS lorsque le chiffrement en transit est activé dans les clusters Amazon EMR. Pour plus d'informations sur les configurations de Jupyter Enterprise Gateway, consultez la section Sécurisation du serveur Enterprise Gateway.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

jupyter_enterprise_gateway

c. EnterpriseGatewayApp.port

9547

TLS

emr-7.4.0 et versions ultérieures

JupyterHub

Par défaut, JupyterHub prend en charge le protocole TLS lorsque le chiffrement en transit est activé dans les clusters Amazon EMR. Pour plus d'informations, consultez la section Activation du cryptage SSL dans la JupyterHub documentation. Il n'est pas recommandé de désactiver le chiffrement.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

jupyter_hub

c. JupyterHub.port

9443

TLS

emr-5.14.0+, emr-6.0.0+, emr-7.0.0+

Zeppelin

Par défaut, Zeppelin prend en charge le protocole TLS lorsque vous activez le chiffrement en transit dans votre cluster EMR. Pour plus d'informations sur les configurations Zeppelin, consultez la section Configuration SSL dans la documentation Zeppelin.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

zeppelin

zeppelin.server.ssl.port

8890

TLS

7.3.0 et versions ultérieures

Zookeeper

Amazon EMR est configuré serverCnxnFactory pour activer le org.apache.zookeeper.server.NettyServerCnxnFactory protocole TLS pour le quorum de Zookeeper et la communication avec les clients.

secureClientPortspécifie le port qui écoute les connexions TLS. Si le client ne prend pas en charge les connexions TLS à Zookeeper, les clients peuvent se connecter au port non sécurisé 2181 spécifié dans. clientPort Vous pouvez modifier ou désactiver ces deux ports.

Amazon EMR définit les deux sslQuorum et admin.forceHttps true pour activer la communication TLS pour le quorum et le serveur d'administration. Si vous ne souhaitez pas de chiffrement en transit pour le quorum et le serveur d'administration, vous pouvez désactiver ces configurations. Nous vous recommandons d'utiliser les configurations par défaut pour une sécurité maximale.

Pour plus d'informations, consultez la section Options de chiffrement, d'authentification et d'autorisation dans la documentation de Zookeeper.

Composant Endpoint Port In-Transit Mécanisme de chiffrement Pris en charge dès la sortie

Serveur Zookeeper

sécurisé ClientPort

2281

TLS

emr-7.4.0 et versions ultérieures

Serveur Zookeeper

Ports du quorum

Il y en a 2 :

Les abonnés utilisent 2888 pour se connecter au leader.

L'élection du chef utilise 3888

TLS

emr-7.4.0 et versions ultérieures

Serveur Zookeeper

Port du serveur d'administration

8341

TLS

emr-7.4.0 et versions ultérieures