Información sobre el cifrado en tránsito - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Información sobre el cifrado en tránsito

Puede configurar un EMR clúster para ejecutar marcos de código abierto como Apache Spark, Apache Hive y Presto. Cada uno de estos marcos de código abierto tiene un conjunto de procesos que se ejecutan en las EC2 instancias de un clúster. Cada uno de estos procesos puede alojar puntos de conexión de red para la comunicación de red.

Si el cifrado en tránsito está habilitado en un EMR clúster, los distintos puntos finales de la red utilizan distintos mecanismos de cifrado. Consulta las siguientes secciones para obtener más información sobre los puntos finales de red específicos del marco de código abierto compatibles con el cifrado en tránsito, los mecanismos de cifrado relacionados y qué EMR versión de Amazon agregó este soporte. Cada aplicación de código abierto también puede tener diferentes prácticas recomendadas y configuraciones de marco de código abierto que puede cambiar.

Para obtener la máxima cobertura de cifrado en tránsito, le recomendamos que habilite tanto el cifrado en tránsito como Kerberos. Si solo habilitas el cifrado en tránsito, el cifrado en tránsito solo estará disponible para los puntos finales de red que lo admitan. TLS Kerberos es necesario porque algunos puntos finales de red de código abierto utilizan la autenticación simple y la capa de seguridad () para el cifrado en tránsito. SASL

Tenga en cuenta que no se incluye ningún marco de código abierto que no sea compatible con las versiones de Amazon EMR 7.xx.

Spark

Cuando habilita el cifrado en tránsito en las configuraciones de seguridad, spark.authenticate se establece automáticamente en el cifrado AES basado en las conexiones true y lo utiliza. RPC

A partir de Amazon EMR 7.3.0, si utilizas el cifrado en tránsito y la autenticación Kerberos, no podrás usar las aplicaciones de Spark que dependan del metaalmacén de Hive. Hive 3 corrige este problema en -16340. HIVE HIVE-44114 resuelve completamente este problema cuando Spark de código abierto puede actualizarse a Hive 3. Mientras tanto, puede establecer hive.metastore.use.SSL en false para tratar de solucionar este problema. Para obtener más información, consulte Configuración de aplicaciones.

Para obtener más información, consulte Seguridad de Spark en la documentación de Apache Spark.

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

Servidor de historial de Spark

spark.ssl.history.port

18480

TLS

emr-5.3.0+, emr-6.0.0+, emr-7.0.0+

Interfaz de usuario de Spark

spark.ui.port

4440

TLS

emr-5.3.0+, emr-6.0.0+, emr-7.0.0+

Controlador de Spark

spark.driver.port

Dinámico

Cifrado AES basado en Spark

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

Ejecutor de Spark

Puerto ejecutor (sin configuración con nombre)

Dinámico

Cifrado AES basado en Spark

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

YARN NodeManager

spark.shuffle.service.port1

7337

Cifrado AES basado en Spark

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

1 spark.shuffle.service.port está alojado en Apache Spark, YARN NodeManager pero solo lo utiliza.

Hadoop YARN

Secure Hadoop RPC está configurado para el cifrado en tránsito basado en él privacy y lo utilizaSASL. Esto requiere que la autenticación de Kerberos esté habilitada en la configuración de seguridad. Si no desea el cifrado en tránsito para Hadoop, configúrelo. RPC hadoop.rpc.protection = authentication Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.

Si sus TLS certificados no cumplen los requisitos de verificación TLS del nombre de host, puede configurarlos. hadoop.ssl.hostname.verifier = ALLOW_ALL Le recomendamos que utilice la configuración predeterminada dehadoop.ssl.hostname.verifier = DEFAULT, que exige la verificación del nombre de TLS host.

HTTPSPara deshabilitar los puntos finales de la aplicación YARN web, configure. yarn.http.policy = HTTP_ONLY Esto hace que el tráfico a estos puntos de conexión permanezca sin cifrar. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.

Para obtener más información, consulte Hadoop in Secure Mode en la documentación de Apache Hadoop:

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

ResourceManager

yarn.resourcemanager.webapp.address

8088

TLS

emr-7.3.0+

ResourceManager

yarn.resourcemanager.resource-tracker.address

8025

SASL+ Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

ResourceManager

yarn.resourcemanager.scheduler.address

8030

SASL+ Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

ResourceManager

yarn.resourcemanager.address

8032

SASL+ Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

ResourceManager

yarn.resourcemanager.admin.address

8033

SASL+ Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

TimelineServer

yarn.timeline-service.address

10200

SASL+ Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

TimelineServer

yarn.timeline-service.webapp.address

8188

TLS

emr-7.3.0+

WebApplicationProxy

yarn.web-proxy.address

20888

SASL+ Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

NodeManager

yarn.nodemanager.address

8041

SASL+ Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

NodeManager

yarn.nodemanager.localizer.address

8040

SASL+ Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

NodeManager

yarn.nodemanager.webapp.address

8044

TLS

emr-7.3.0+

NodeManager

mapreduce.shuffle.port1

13562

TLS

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

NodeManager

spark.shuffle.service.port2

7337

Cifrado AES basado en Spark

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

1 mapreduce.shuffle.port está alojado en MapReduce Hadoop YARN NodeManager , pero solo lo utiliza.

2 spark.shuffle.service.port está alojado en Apache YARN NodeManager Spark, pero solo lo utiliza.

Hadoop HDFS

El nodo de nombre, el nodo de datos y el nodo de diario de Hadoop son compatibles de forma TLS predeterminada si el cifrado en tránsito está habilitado en los clústeres. EMR

Secure Hadoop RPC está configurado en el cifrado en tránsito basado en el cifrado en tránsito privacy y lo utiliza. SASL Esto requiere que la autenticación de Kerberos esté habilitada en la configuración de seguridad.

Le recomendamos que no cambie los puertos predeterminados que se utilizan para los puntos finales. HTTPS

El cifrado de datos en la transferencia en HDFS bloque utiliza AES 256 y requiere que el cifrado en reposo esté habilitado en la configuración de seguridad.

Para obtener más información, consulte Hadoop in Secure Mode en la documentación de Apache Hadoop:

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

Namenode

dfs.namenode.https-address

9871

TLS

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

Namenode

dfs.namenode.rpc-address

8020

SASL+ Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

Datanode

dfs.datanode.https.address

9865

TLS

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

Datanode

dfs.datanode.address

9866

SASL+ Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

Nodo de diario

dfs.journalnode.https-address

8481

TLS

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

Nodo de diario

dfs.journalnode.rpc-address

8485

SASL+ Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

DFSZKFailoverController

dfs.ha.zkfc.port

8019

Ninguna

TLSfor solo ZKFC es compatible con Hadoop 3.4.0. Consulte HADOOP-18919 para obtener más información. La EMR versión 7.1.0 de Amazon se encuentra actualmente en Hadoop 3.3.6. Las EMR versiones superiores de Amazon estarán en Hadoop 3.4.0 en el futuro

Hadoop MapReduce

Hadoop MapReduce, el servidor de historial de trabajos y MapReduce Shuffle son compatibles de forma TLS predeterminada cuando el cifrado en tránsito está habilitado en los clústeres. EMR

Usos de Hadoop Encrypted Shuffle MapReduce . TLS

Le recomendamos que no cambie los puertos predeterminados de los puntos finales. HTTPS

Para obtener más información, consulte Hadoop in Secure Mode en la documentación de Apache Hadoop:

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

JobHistoryServer

mapreduce.jobhistory.webapp.https.address

198-90

TLS

emr-7.3.0+

YARN NodeManager

mapreduce.shuffle.port1

13562

TLS

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

1 mapreduce.shuffle.port está alojado en YARN NodeManager MapReduce Hadoop, pero solo lo utiliza.

Presto

En las EMR versiones 5.6.0 y posteriores de Amazon, la comunicación interna entre el coordinador de Presto y los trabajadores utiliza TLS Amazon EMR para configurar todas las configuraciones necesarias para permitir una comunicación interna segura en Presto.

Si el conector utiliza el metabastore de Hive como almacén de metadatos, la comunicación entre el comunicador y el metaalmacén de Hive también se cifra con él. TLS

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

Coordinador de Presto

http-server.https.port

8446

TLS

emr-5.6.0+, emr-6.0.0+, emr-7.0.0+

Trabajador de Presto

http-server.https.port

8446

TLS

emr-5.6.0+, emr-6.0.0+, emr-7.0.0+

Trino

En las EMR versiones 6.1.0 y posteriores de Amazon, la comunicación interna entre el coordinador de Presto y los trabajadores utiliza TLS Amazon EMR para configurar todas las configuraciones necesarias para permitir una comunicación interna segura en Trino.

Si el conector utiliza el metabastore de Hive como almacén de metadatos, la comunicación entre el comunicador y el metaalmacén de Hive también se cifra con él. TLS

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

Coordinador de Trino

http-server.https.port

8446

TLS

emr-6.1.0+, emr-7.0.0+

Trabajador de Trino

http-server.https.port

8446

TLS

emr-6.1.0+, emr-7.0.0+

Hive y Tez

De forma predeterminada, el servidor Hive 2, el servidor Hive Metastore, la interfaz de usuario web de Hive LLAP Daemon y Hive LLAP shuffle son compatibles TLS cuando el cifrado en tránsito está activado en los clústeres. EMR Para obtener más información acerca de las configuraciones de Hive, consulte Propiedades de la configuración.

La interfaz de usuario de Tez, alojada en el servidor Tomcat, también está habilitada cuando el cifrado en tránsito está activado en el HTTPS clúster. EMR Sin embargo, HTTPS está deshabilitado para el servicio de interfaz de usuario web de Tez AM, por lo que los usuarios de AM no tienen acceso al archivo de almacenamiento de claves del oyente que lo abre. SSL También puede habilitar este comportamiento con las configuraciones booleanas tez.am.tez-ui.webservice.enable.ssl y tez.am.tez-ui.webservice.enable.client.auth.

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

HiveServer2.

hive.server2.thrift.port

10000

TLS

emr-6.9.0+, emr-7.0.0+

HiveServer2.

hive.server2.thrift.http.port

10001

TLS

emr-6.9.0+, emr-7.0.0+

HiveServer2.

hive.server2.webui.port

10002

TLS

emr-7.3.0+

HiveMetastoreServer

hive.metastore.port

9083

TLS

emr-7.3.0+

Demonio de LLAP

hive.llap.daemon.yarn.shuffle.port

15551

TLS

emr-7.3.0+

Demonio de LLAP

hive.llap.daemon.web.port

15002

TLS

emr-7.3.0+

Demonio de LLAP

hive.llap.daemon.output.service.port

15003

Ninguna

Hive no admite el cifrado en tránsito para este punto de conexión

Demonio de LLAP

hive.llap.management.rpc.port

15004

Ninguna

Hive no admite el cifrado en tránsito para este punto de conexión

Demonio de LLAP

hive.llap.plugin.rpc.port

Dinámico

Ninguna

Hive no admite el cifrado en tránsito para este punto de conexión

Demonio de LLAP

hive.llap.daemon.rpc.port

Dinámico

Ninguna

Hive no admite el cifrado en tránsito para este punto de conexión

W ebHCat

templeton.port

50111

TLS

emr-7.3.0+

Maestro de aplicación de Tez

tez.am.client.am.port-range

tez.am.client.am.port-range

Dinámico

Ninguna

Tez no admite el cifrado en tránsito para este punto de conexión

Maestro de aplicación de Tez

tez.am.tez-ui.webservice.port-range

Dinámico

Ninguna

Está deshabilitado de forma predeterminada. Se puede habilitar mediante las configuraciones de Tez en emr-7.3.0+

Tarea de Tez

N/D: no se puede configurar

Dinámico

Ninguna

Tez no admite el cifrado en tránsito para este punto de conexión

Tez UI

Se puede configurar mediante el servidor Tomcat en el que está alojada la IU de Tez

8080

TLS

emr-7.3.0+

Los REST puntos finales de Apache Flink y la comunicación interna entre los procesos de Flink se admiten de forma TLS predeterminada cuando se habilita el cifrado en tránsito en los clústeres. EMR

security.ssl.internal.enabled está establecido en true y usa cifrado en tránsito para la comunicación interna entre los procesos de Flink. Si no desea el cifrado en tránsito para la comunicación interna, deshabilite esa configuración. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.

Amazon EMR establece security.ssl.rest.enabledtruey utiliza el cifrado en tránsito para los puntos REST finales. Además, Amazon EMR también establece en historyserver.web.ssl.enabledtrue la TLS comunicación con el servidor de historial de Flink. Si no quieres cifrar los REST puntos en tránsito, desactiva estas configuraciones. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.

Amazon EMR utiliza security.ssl.algorithms... para especificar la lista de cifrados que utilizan el cifrado AES basado. Anule esta configuración para usar los cifrados que desee.

Para obtener más información, consulte la SSLconfiguración en la documentación de Flink.

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

Servidor de historial de Flink

historyserver.web.port

8082

TLS

emr-7.3.0+

Servidor Rest del administrador de trabajos

rest.bind-port

rest.port

Dinámico

TLS

emr-7.3.0+

HBase

Amazon EMR configura Secure Hadoop en. RPC privacy HMastery RegionServer utilizan el cifrado SASL en tránsito basado en el uso. Esto requiere que la autenticación de Kerberos esté habilitada en la configuración de seguridad.

Amazon EMR se establece en true y hbase.ssl.enabled lo usa TLS para los puntos de enlace de la interfaz de usuario. Si no quieres utilizarla para los puntos finales de TLS la interfaz de usuario, desactiva esta configuración. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.

Amazon EMR establece hbase.rest.ssl.enabled hbase.thrift.ssl.enabled y utiliza TLS los puntos finales del servidor REST y de Thirft, respectivamente. Si no desea utilizarlos TLS para estos puntos finales, desactive esta configuración. Se recomienda usar la configuración predeterminada para garantizar la máxima seguridad.

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

HMaster

HMaster

16 000

SASL+ Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

HMaster

IU HMaster

16010

TLS

emr-7.3.0+

RegionServer

RegionServer

16020

SASL+ Kerberos

emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0.0+

RegionServer

RegionServer Información

16030

TLS

emr-7.3.0+

HBaseServidor REST

Servidor Rest

8070

TLS

emr-7.3.0+

HBaseServidor REST

IU REST

8085

TLS

emr-7.3.0+

Servidor Thrift de HBase

Servidor Thrift

9090

TLS

emr-7.3.0+

Servidor Thrift de HBase

IU del servidor Thrift

9095

TLS

emr-7.3.0+

Phoenix

Si ha activado el cifrado en tránsito en su EMR clúster, Phoenix Query Server admite la TLS propiedadphoenix.queryserver.tls.enabled, que está configurada de forma predeterminadatrue.

Para obtener más información, consulte las configuraciones correspondientes HTTPS en la documentación de Phoenix Query Server.

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

Servidor de consultas

phoenix.queryserver.http.port

8765

TLS

emr-7.3.0+

Oozie

OOZIE-3673 está disponible en Amazon EMR si utilizas Oozie en Amazon EMR 7.3.0 y versiones posteriores. Si necesitas configurar TLS protocolos SSL o personalizados al ejecutar una acción de correo electrónico, puedes establecer la propiedad oozie.email.smtp.ssl.protocols en el archivo. oozie-site.xml De forma predeterminada, si has activado el cifrado en tránsito, Amazon EMR utiliza el protocolo TLS v1.3.

OOZIE-3677 y OOZIE-3674 también están disponibles en Amazon EMR si ejecutas Oozie en Amazon 7.3.0 y versiones posteriores. EMR Esto te permite especificar las propiedades y entrar. keyStoreType trustStoreType oozie-site.xml OOZIE-3674 añade el parámetro al cliente de Oozie --insecure para que pueda ignorar los errores de los certificados.

Oozie exige la verificación TLS del nombre de host, lo que significa que cualquier certificado que utilices para el cifrado en tránsito debe cumplir con los requisitos de verificación del nombre de host. Si el certificado no cumple los criterios, es posible que el clúster se quede atascado en la oozie share lib update fase en la que Amazon EMR aprovisiona el clúster. Se recomienda actualizar los certificados para asegurarse de que cumplen con la verificación del nombre de host. Sin embargo, si no puedes actualizar los certificados, puedes inhabilitarlos SSL para Oozie configurando la oozie.https.enabled propiedad false en la configuración del clúster.

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

EmbeddedOozieServer

oozie.https.port

11443

TLS

emr-7.3.0+

EmbeddedOozieServer

oozie.email.smtp.port

25

TLS

emr-7.3.0+

Hue

De forma predeterminada, Hue admite TLS cuando el cifrado en tránsito está habilitado en EMR los clústeres de Amazon. Para obtener más información sobre las configuraciones de Hue, consulte Configurar Hue conHTTPS/SSL.

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

Hue

http_port

8888

TLS

emr-7.4.0+

Livy

De forma predeterminada, Livy admite TLS cuando el cifrado en tránsito está habilitado en los clústeres de AmazonEMR. Para obtener más información sobre las configuraciones de Livy, consulte Habilitar HTTPS con Apache Livy.

A partir de Amazon EMR 7.3.0, si utilizas el cifrado en tránsito y la autenticación Kerberos, no puedes usar el servidor Livy para las aplicaciones Spark que dependen del metaalmacén de Hive. Este problema se solucionó en la versión HIVE-16340 y se resolvió por completo en la versión SPARK-44114, cuando la aplicación Spark de código abierto se actualizó a Hive 3. Mientras tanto, puedes solucionar este problema si así lo deseas. hive.metastore.use.SSL false Para obtener más información, consulte Configuración de aplicaciones.

Para obtener más información, consulta cómo habilitar HTTPS con Apache Livy.

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

livy-server

livy.server.port

8998

TLS

emr-7.4.0+

JupyterEnterpriseGateway

De forma predeterminada, Jupyter Enterprise Gateway admite los TLS casos en los que el cifrado en tránsito está activado en los clústeres de Amazon. EMR Para obtener más información sobre las configuraciones de Jupyter Enterprise Gateway, consulte Proteger Enterprise Gateway Server.

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

jupyter_enterprise_gateway

c. .port EnterpriseGatewayApp

9547

TLS

emr-7.4.0+

JupyterHub

De forma predeterminada, JupyterHub es compatible TLS cuando el cifrado en tránsito está habilitado en los EMR clústeres de Amazon. Para obtener más información, consulte Habilitar el SSL cifrado en la JupyterHub documentación. No se recomienda deshabilitar el cifrado.

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

jupyter_hub

c. .port JupyterHub

9443

TLS

emr-5.14.0+, emr-6.0.0+, emr-7.0.0+

Zeppelin

De forma predeterminada, Zeppelin lo admite cuando se habilita el cifrado en tránsito en el clúster. TLS EMR Para obtener más información sobre las configuraciones de Zeppelin, consulte Configuración en la documentación de Zeppelin. SSL

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

Zeppelin

zeppelin.server.ssl.port

8890

TLS

7,30+

ZooKeeper

Amazon serverCnxnFactory lo EMR configura org.apache.zookeeper.server.NettyServerCnxnFactory TLS para habilitar el quórum de Zookeeper y la comunicación con los clientes.

secureClientPortespecifica el puerto que escucha las conexiones. TLS Si el cliente no admite TLS conexiones a Zookeeper, los clientes pueden conectarse al puerto inseguro 2181 especificado en. clientPort Puede anular o deshabilitar estos dos puertos.

Amazon EMR establece ambos sslQuorum y admin.forceHttps true para habilitar la TLS comunicación entre el quórum y el servidor de administración. Si no desea el cifrado en tránsito para el quórum y el servidor de administración, puede deshabilitar esas configuraciones. Le recomendamos que utilice las configuraciones predeterminadas para garantizar la máxima seguridad.

Para obtener más información, consulte las opciones de cifrado, autenticación y autorización en la documentación de Zookeeper.

Componente punto de enlace Puerto Mecanismo de cifrado en tránsito Compatible desde la versión

Servidor Zookeeper

secureClientPort

2281

TLS

emr-7.4.0+

Servidor Zookeeper

Puertos de quórum

Hay 2:

Los seguidores usan 2888 para conectarse con el líder.

En la elección del líder se utiliza el 3888

TLS

emr-7.4.0+

Servidor Zookeeper

administrador. serverPort

8341

TLS

emr-7.4.0+