Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Información sobre el cifrado en tránsito
Puede configurar un EMR clúster para ejecutar marcos de código abierto como Apache Spark, Apache
Si el cifrado en tránsito está habilitado en un EMR clúster, los distintos puntos finales de la red utilizan distintos mecanismos de cifrado. Consulta las siguientes secciones para obtener más información sobre los puntos finales de red específicos del marco de código abierto compatibles con el cifrado en tránsito, los mecanismos de cifrado relacionados y qué EMR versión de Amazon agregó este soporte. Cada aplicación de código abierto también puede tener diferentes prácticas recomendadas y configuraciones de marco de código abierto que puede cambiar.
Para obtener la máxima cobertura de cifrado en tránsito, le recomendamos que habilite tanto el cifrado en tránsito como Kerberos. Si solo habilitas el cifrado en tránsito, el cifrado en tránsito solo estará disponible para los puntos finales de red que lo admitan. TLS Kerberos es necesario porque algunos puntos finales de red de código abierto utilizan la autenticación simple y la capa de seguridad () para el cifrado en tránsito. SASL
Tenga en cuenta que no se incluye ningún marco de código abierto que no sea compatible con las versiones de Amazon EMR 7.xx.
Spark
Cuando habilita el cifrado en tránsito en las configuraciones de seguridad, spark.authenticate
se establece automáticamente en el cifrado AES basado en las conexiones true
y lo utiliza. RPC
A partir de Amazon EMR 7.3.0, si utilizas el cifrado en tránsito y la autenticación Kerberos, no podrás usar las aplicaciones de Spark que dependan del metaalmacén de Hive. Hive 3 corrige este problema en -16340. HIVEhive.metastore.use.SSL
en false
para tratar de solucionar este problema. Para obtener más información, consulte Configuración de aplicaciones.
Para obtener más información, consulte Seguridad de Spark
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
Servidor de historial de Spark |
spark.ssl.history.port |
18480 |
TLS |
emr-5.3.0+, emr-6.0.0+, emr-7.0.0+ |
Interfaz de usuario de Spark |
spark.ui.port |
4440 |
TLS |
emr-5.3.0+, emr-6.0.0+, emr-7.0.0+ |
Controlador de Spark |
spark.driver.port |
Dinámico |
Cifrado AES basado en Spark |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
Ejecutor de Spark |
Puerto ejecutor (sin configuración con nombre) |
Dinámico |
Cifrado AES basado en Spark |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
YARN NodeManager |
spark.shuffle.service.port1 |
7337 |
Cifrado AES basado en Spark |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
1 spark.shuffle.service.port
está alojado en Apache Spark, YARN NodeManager pero solo lo utiliza.
Hadoop YARN
Secure Hadoop RPCprivacy
y lo utilizaSASL. Esto requiere que la autenticación de Kerberos esté habilitada en la configuración de seguridad. Si no desea el cifrado en tránsito para Hadoop, configúrelo. RPC hadoop.rpc.protection = authentication
Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.
Si sus TLS certificados no cumplen los requisitos de verificación TLS del nombre de host, puede configurarlos. hadoop.ssl.hostname.verifier = ALLOW_ALL
Le recomendamos que utilice la configuración predeterminada dehadoop.ssl.hostname.verifier = DEFAULT
, que exige la verificación del nombre de TLS host.
HTTPSPara deshabilitar los puntos finales de la aplicación YARN web, configure. yarn.http.policy = HTTP_ONLY
Esto hace que el tráfico a estos puntos de conexión permanezca sin cifrar. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.
Para obtener más información, consulte Hadoop in Secure Mode
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
ResourceManager |
yarn.resourcemanager.webapp.address |
8088 |
TLS |
emr-7.3.0+ |
ResourceManager |
yarn.resourcemanager.resource-tracker.address |
8025 |
SASL+ Kerberos |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
ResourceManager |
yarn.resourcemanager.scheduler.address |
8030 |
SASL+ Kerberos |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
ResourceManager |
yarn.resourcemanager.address |
8032 |
SASL+ Kerberos |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
ResourceManager |
yarn.resourcemanager.admin.address |
8033 |
SASL+ Kerberos |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
TimelineServer |
yarn.timeline-service.address |
10200 |
SASL+ Kerberos |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
TimelineServer |
yarn.timeline-service.webapp.address |
8188 |
TLS |
emr-7.3.0+ |
WebApplicationProxy |
yarn.web-proxy.address |
20888 |
SASL+ Kerberos |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
NodeManager |
yarn.nodemanager.address |
8041 |
SASL+ Kerberos |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
NodeManager |
yarn.nodemanager.localizer.address |
8040 |
SASL+ Kerberos |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
NodeManager |
yarn.nodemanager.webapp.address |
8044 |
TLS |
emr-7.3.0+ |
NodeManager |
mapreduce.shuffle.port1 |
13562 |
TLS |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
NodeManager |
spark.shuffle.service.port2 |
7337 |
Cifrado AES basado en Spark |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
1 mapreduce.shuffle.port
está alojado en MapReduce Hadoop YARN NodeManager , pero solo lo utiliza.
2 spark.shuffle.service.port
está alojado en Apache YARN NodeManager Spark, pero solo lo utiliza.
Hadoop HDFS
El nodo de nombre, el nodo de datos y el nodo de diario de Hadoop son compatibles de forma TLS predeterminada si el cifrado en tránsito está habilitado en los clústeres. EMR
Secure Hadoop RPCprivacy
y lo utiliza. SASL Esto requiere que la autenticación de Kerberos esté habilitada en la configuración de seguridad.
Le recomendamos que no cambie los puertos predeterminados que se utilizan para los puntos finales. HTTPS
El cifrado de datos en la transferencia en HDFS bloque utiliza
Para obtener más información, consulte Hadoop in Secure Mode
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
Namenode |
dfs.namenode.https-address |
9871 |
TLS |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
Namenode |
dfs.namenode.rpc-address |
8020 |
SASL+ Kerberos |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
Datanode |
dfs.datanode.https.address |
9865 |
TLS |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
Datanode |
dfs.datanode.address |
9866 |
SASL+ Kerberos |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
Nodo de diario |
dfs.journalnode.https-address |
8481 |
TLS |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
Nodo de diario |
dfs.journalnode.rpc-address |
8485 |
SASL+ Kerberos |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
DFSZKFailoverController |
dfs.ha.zkfc.port |
8019 |
Ninguna |
TLSfor solo ZKFC es compatible con Hadoop 3.4.0. Consulte HADOOP-18919 |
Hadoop MapReduce
Hadoop MapReduce, el servidor de historial de trabajos y MapReduce Shuffle son compatibles de forma TLS predeterminada cuando el cifrado en tránsito está habilitado en los clústeres. EMR
Usos de Hadoop Encrypted Shuffle MapReduce
Le recomendamos que no cambie los puertos predeterminados de los puntos finales. HTTPS
Para obtener más información, consulte Hadoop in Secure Mode
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
JobHistoryServer |
mapreduce.jobhistory.webapp.https.address |
198-90 |
TLS |
emr-7.3.0+ |
YARN NodeManager |
mapreduce.shuffle.port1 |
13562 |
TLS |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
1 mapreduce.shuffle.port
está alojado en YARN NodeManager MapReduce Hadoop, pero solo lo utiliza.
Presto
En las EMR versiones 5.6.0 y posteriores de Amazon, la comunicación interna entre el coordinador de Presto y los trabajadores utiliza TLS Amazon EMR para configurar todas las configuraciones necesarias para permitir una comunicación interna segura
Si el conector utiliza el metabastore de Hive como almacén de metadatos, la comunicación entre el comunicador y el metaalmacén de Hive también se cifra con él. TLS
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
Coordinador de Presto |
http-server.https.port |
8446 |
TLS |
emr-5.6.0+, emr-6.0.0+, emr-7.0.0+ |
Trabajador de Presto |
http-server.https.port |
8446 |
TLS |
emr-5.6.0+, emr-6.0.0+, emr-7.0.0+ |
Trino
En las EMR versiones 6.1.0 y posteriores de Amazon, la comunicación interna entre el coordinador de Presto y los trabajadores utiliza TLS Amazon EMR para configurar todas las configuraciones necesarias para permitir una comunicación interna segura
Si el conector utiliza el metabastore de Hive como almacén de metadatos, la comunicación entre el comunicador y el metaalmacén de Hive también se cifra con él. TLS
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
Coordinador de Trino |
http-server.https.port |
8446 |
TLS |
emr-6.1.0+, emr-7.0.0+ |
Trabajador de Trino |
http-server.https.port |
8446 |
TLS |
emr-6.1.0+, emr-7.0.0+ |
Hive y Tez
De forma predeterminada, el servidor Hive 2, el servidor Hive Metastore, la interfaz de usuario web de Hive LLAP Daemon y Hive LLAP shuffle son compatibles TLS cuando el cifrado en tránsito está activado en los clústeres. EMR Para obtener más información acerca de las configuraciones de Hive, consulte Propiedades de la configuración
La interfaz de usuario de Tez, alojada en el servidor Tomcat, también está habilitada cuando el cifrado en tránsito está activado en el HTTPS clúster. EMR Sin embargo, HTTPS está deshabilitado para el servicio de interfaz de usuario web de Tez AM, por lo que los usuarios de AM no tienen acceso al archivo de almacenamiento de claves del oyente que lo abre. SSL También puede habilitar este comportamiento con las configuraciones booleanas tez.am.tez-ui.webservice.enable.ssl
y tez.am.tez-ui.webservice.enable.client.auth
.
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
HiveServer2. |
hive.server2.thrift.port |
10000 |
TLS |
emr-6.9.0+, emr-7.0.0+ |
HiveServer2. |
hive.server2.thrift.http.port |
10001 |
TLS |
emr-6.9.0+, emr-7.0.0+ |
HiveServer2. |
hive.server2.webui.port |
10002 |
TLS |
emr-7.3.0+ |
HiveMetastoreServer |
hive.metastore.port |
9083 |
TLS |
emr-7.3.0+ |
Demonio de LLAP |
hive.llap.daemon.yarn.shuffle.port |
15551 |
TLS |
emr-7.3.0+ |
Demonio de LLAP |
hive.llap.daemon.web.port |
15002 |
TLS |
emr-7.3.0+ |
Demonio de LLAP |
hive.llap.daemon.output.service.port |
15003 |
Ninguna |
Hive no admite el cifrado en tránsito para este punto de conexión |
Demonio de LLAP |
hive.llap.management.rpc.port |
15004 |
Ninguna |
Hive no admite el cifrado en tránsito para este punto de conexión |
Demonio de LLAP |
hive.llap.plugin.rpc.port |
Dinámico |
Ninguna |
Hive no admite el cifrado en tránsito para este punto de conexión |
Demonio de LLAP |
hive.llap.daemon.rpc.port |
Dinámico |
Ninguna |
Hive no admite el cifrado en tránsito para este punto de conexión |
W ebHCat |
templeton.port |
50111 |
TLS |
emr-7.3.0+ |
Maestro de aplicación de Tez |
tez.am.client.am.port-range tez.am.client.am.port-range |
Dinámico |
Ninguna |
Tez no admite el cifrado en tránsito para este punto de conexión |
Maestro de aplicación de Tez |
tez.am.tez-ui.webservice.port-range |
Dinámico |
Ninguna |
Está deshabilitado de forma predeterminada. Se puede habilitar mediante las configuraciones de Tez en emr-7.3.0+ |
Tarea de Tez |
N/D: no se puede configurar |
Dinámico |
Ninguna |
Tez no admite el cifrado en tránsito para este punto de conexión |
Tez UI |
Se puede configurar mediante el servidor Tomcat en el que está alojada la IU de Tez |
8080 |
TLS |
emr-7.3.0+ |
Flink
Los REST puntos finales de Apache Flink y la comunicación interna entre los procesos de Flink se admiten de forma TLS predeterminada cuando se habilita el cifrado en tránsito en los clústeres. EMR
security.ssl.internal.enabled
true
y usa cifrado en tránsito para la comunicación interna entre los procesos de Flink. Si no desea el cifrado en tránsito para la comunicación interna, deshabilite esa configuración. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.
Amazon EMR establece security.ssl.rest.enabled
true
y utiliza el cifrado en tránsito para los puntos REST finales. Además, Amazon EMR también establece en historyserver.web.ssl.enabled
Amazon EMR utiliza security.ssl.algorithms
Para obtener más información, consulte la SSLconfiguración
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
Servidor de historial de Flink |
historyserver.web.port |
8082 |
TLS |
emr-7.3.0+ |
Servidor Rest del administrador de trabajos |
rest.bind-port rest.port |
Dinámico |
TLS |
emr-7.3.0+ |
HBase
Amazon EMR configura Secure Hadoop en. RPCprivacy
HMastery RegionServer utilizan el cifrado SASL en tránsito basado en el uso. Esto requiere que la autenticación de Kerberos esté habilitada en la configuración de seguridad.
Amazon EMR se establece en true y hbase.ssl.enabled
lo usa TLS para los puntos de enlace de la interfaz de usuario. Si no quieres utilizarla para los puntos finales de TLS la interfaz de usuario, desactiva esta configuración. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.
Amazon EMR establece hbase.rest.ssl.enabled
hbase.thrift.ssl.enabled
y utiliza TLS los puntos finales del servidor REST y de Thirft, respectivamente. Si no desea utilizarlos TLS para estos puntos finales, desactive esta configuración. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
HMaster |
HMaster |
16 000 |
SASL+ Kerberos |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
HMaster |
IU HMaster |
16010 |
TLS |
emr-7.3.0+ |
RegionServer |
RegionServer |
16020 |
SASL+ Kerberos |
emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+ |
RegionServer |
RegionServer Información |
16030 |
TLS |
emr-7.3.0+ |
HBaseServidor REST |
Servidor Rest |
8070 |
TLS |
emr-7.3.0+ |
HBaseServidor REST |
IU REST |
8085 |
TLS |
emr-7.3.0+ |
Servidor Thrift de HBase |
Servidor Thrift |
9090 |
TLS |
emr-7.3.0+ |
Servidor Thrift de HBase |
IU del servidor Thrift |
9095 |
TLS |
emr-7.3.0+ |
Phoenix
Si ha activado el cifrado en tránsito en su EMR clúster, Phoenix Query Server admite la TLS propiedadphoenix.queryserver.tls.enabled
, que está configurada de forma predeterminadatrue
.
Para obtener más información, consulte las configuraciones correspondientes HTTPS en la
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
Servidor de consultas |
phoenix.queryserver.http.port |
8765 |
TLS |
emr-7.3.0+ |
Oozie
OOZIE-3673oozie.email.smtp.ssl.protocols
en el archivo. oozie-site.xml
De forma predeterminada, si has activado el cifrado en tránsito, Amazon EMR utiliza el protocolo TLS v1.3.
OOZIE-3677keyStoreType
trustStoreType
oozie-site.xml
OOZIE-3674 añade el parámetro al cliente de Oozie --insecure
para que pueda ignorar los errores de los certificados.
Oozie exige la verificación TLS del nombre de host, lo que significa que cualquier certificado que utilices para el cifrado en tránsito debe cumplir con los requisitos de verificación del nombre de host. Si el certificado no cumple los criterios, es posible que el clúster se quede atascado en la oozie share lib update
fase en la que Amazon EMR aprovisiona el clúster. Se recomienda actualizar los certificados para asegurarse de que cumplen con la verificación del nombre de host. Sin embargo, si no puedes actualizar los certificados, puedes inhabilitarlos SSL para Oozie configurando la oozie.https.enabled
propiedad false
en la configuración del clúster.
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
EmbeddedOozieServer |
oozie.https.port |
11443 |
TLS |
emr-7.3.0+ |
EmbeddedOozieServer |
oozie.email.smtp.port |
25 |
TLS |
emr-7.3.0+ |
Hue
De forma predeterminada, Hue admite TLS cuando el cifrado en tránsito está habilitado en EMR los clústeres de Amazon. Para obtener más información sobre las configuraciones de Hue, consulte Configurar Hue conHTTPS/SSL
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
Hue |
http_port |
8888 |
TLS |
emr-7.4.0+ |
Livy
De forma predeterminada, Livy admite TLS cuando el cifrado en tránsito está habilitado en los clústeres de AmazonEMR. Para obtener más información sobre las configuraciones de Livy, consulte Habilitar HTTPS con Apache Livy.
A partir de Amazon EMR 7.3.0, si utilizas el cifrado en tránsito y la autenticación Kerberos, no puedes usar el servidor Livy para las aplicaciones Spark que dependen del metaalmacén de Hive. Este problema se solucionó en la versión HIVE-16340hive.metastore.use.SSL
false
Para obtener más información, consulte Configuración de aplicaciones.
Para obtener más información, consulta cómo habilitar HTTPS con Apache Livy.
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
livy-server |
livy.server.port |
8998 |
TLS |
emr-7.4.0+ |
JupyterEnterpriseGateway
De forma predeterminada, Jupyter Enterprise Gateway admite los TLS casos en los que el cifrado en tránsito está activado en los clústeres de Amazon. EMR Para obtener más información sobre las configuraciones de Jupyter Enterprise Gateway, consulte Proteger Enterprise Gateway Server.
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
jupyter_enterprise_gateway |
c. .port EnterpriseGatewayApp |
9547 |
TLS |
emr-7.4.0+ |
JupyterHub
De forma predeterminada, JupyterHub es compatible TLS cuando el cifrado en tránsito está habilitado en los EMR clústeres de Amazon. Para obtener más información, consulte Habilitar el SSL cifrado
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
jupyter_hub |
c. .port JupyterHub |
9443 |
TLS |
emr-5.14.0+, emr-6.0.0+, emr-7.0.0+ |
Zeppelin
De forma predeterminada, Zeppelin lo admite cuando se habilita el cifrado en tránsito en el clúster. TLS EMR Para obtener más información sobre las configuraciones de Zeppelin, consulte Configuración en la documentación de Zeppelin. SSL
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
Zeppelin |
zeppelin.server.ssl.port |
8890 |
TLS |
7,30+ |
ZooKeeper
Amazon serverCnxnFactory
lo EMR configura org.apache.zookeeper.server.NettyServerCnxnFactory
TLS para habilitar el quórum de Zookeeper y la comunicación con los clientes.
secureClientPort
especifica el puerto que escucha las conexiones. TLS Si el cliente no admite TLS conexiones a Zookeeper, los clientes pueden conectarse al puerto inseguro 2181 especificado en. clientPort
Puede anular o deshabilitar estos dos puertos.
Amazon EMR establece ambos sslQuorum
y admin.forceHttps
true
para habilitar la TLS comunicación entre el quórum y el servidor de administración. Si no desea el cifrado en tránsito para el quórum y el servidor de administración, puede deshabilitar esas configuraciones. Le recomendamos que utilice las configuraciones predeterminadas para garantizar la máxima seguridad.
Para obtener más información, consulte las opciones de cifrado, autenticación y autorización
Componente | punto de enlace | Puerto | Mecanismo de cifrado en tránsito | Compatible desde la versión |
---|---|---|---|---|
Servidor Zookeeper |
secureClientPort |
2281 |
TLS |
emr-7.4.0+ |
Servidor Zookeeper |
Puertos de quórum |
Hay 2: Los seguidores usan 2888 para conectarse con el líder. En la elección del líder se utiliza el 3888 |
TLS |
emr-7.4.0+ |
Servidor Zookeeper |
administrador. serverPort |
8341 |
TLS |
emr-7.4.0+ |