Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Comprendere la crittografia in transito

È possibile configurare un cluster EMR per eseguire framework open source come Apache Spark, Apache Hive e Presto. Ognuno di questi framework open source ha una serie di processi in esecuzione sulle istanze EC2 di un cluster. Ciascuno di questi processi può ospitare endpoint di rete per la comunicazione di rete.

Se la crittografia in transito è abilitata su un cluster EMR, diversi endpoint di rete utilizzano meccanismi di crittografia diversi. Consulta le sezioni seguenti per saperne di più sugli specifici endpoint di rete con framework open source supportati dalla crittografia in transito, sui relativi meccanismi di crittografia e su quale versione di Amazon EMR ha aggiunto il supporto. Ogni applicazione open source potrebbe inoltre avere diverse best practice e configurazioni di framework open source che puoi modificare.

Per la massima copertura della crittografia in transito, ti consigliamo di abilitare sia la crittografia in transito che Kerberos. Se abiliti solo la crittografia in transito, la crittografia in transito sarà disponibile solo per gli endpoint di rete che supportano TLS. Kerberos è necessario perché alcuni endpoint di rete con framework open source utilizzano Simple Authentication and Security Layer (SASL) per la crittografia in transito.

Tieni presente che i framework open source non supportati nelle versioni di Amazon EMR 7.x.x non sono inclusi.

Spark

Quando abiliti la crittografia in transito nelle configurazioni di sicurezza, spark.authenticate viene impostata automaticamente e utilizza la crittografia per le connessioni RPC. true AES-based

A partire da Amazon EMR 7.3.0, se utilizzi la crittografia in transito e l'autenticazione Kerberos, non puoi utilizzare le applicazioni Spark che dipendono dal metastore Hive. Hive 3 HIVE-16340 risolve questo problema in. HIVE-44114risolve completamente questo problema quando Spark open source può essere aggiornato a Hive 3. Nel frattempo, puoi iniziare a risolvere questo problema. hive.metastore.use.SSL false Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.

Per ulteriori informazioni, consulta la sicurezza di Spark nella documentazione di Apache Spark.

^{1 è ospitato su} spark.shuffle.service.port YARN ma è utilizzato solo da Apache NodeManager Spark.

Problema noto

Nei cluster abilitati all'intransit, la spark.yarn.historyServer.address configurazione utilizza attualmente la porta18080, che impedisce l'accesso all'interfaccia utente dell'applicazione Spark utilizzando l'URL di tracciamento YARN. Riguarda la versione: da EMR - 7.3.0 a EMR - 7.9.0.

Usa la seguente soluzione alternativa:

Configurazione di esempio:

[
                               {
                                 "Classification": "spark-defaults",
                                 "Properties": {
                                     "spark.yarn.historyServer.address": "${hadoopconf-yarn.resourcemanager.hostname}:18480"
                                 }
                               }
  
                               ]

FILATO Hadoop

Secure Hadoop RPC è impostato e utilizza la crittografia in transito. privacy SASL-based Ciò richiede che l'autenticazione Kerberos sia abilitata nella configurazione di sicurezza. Se non desideri la crittografia in transito per Hadoop RPC, configura. hadoop.rpc.protection = authentication Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Se i tuoi certificati TLS non soddisfano i requisiti di verifica del nome host TLS, puoi configurare. hadoop.ssl.hostname.verifier = ALLOW_ALL Ti consigliamo di utilizzare la configurazione predefinita dihadoop.ssl.hostname.verifier = DEFAULT, che applica la verifica del nome host TLS.

Per disabilitare HTTPS per gli endpoint dell'applicazione web YARN, configura. yarn.http.policy = HTTP_ONLY In questo modo il traffico verso questi endpoint rimane non crittografato. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Per ulteriori informazioni, consulta Hadoop in secure mode (Hadoop in modalità protetta) nella documentazione di Apache Hadoop.

^{1 è ospitato su} mapreduce.shuffle.port YARN ma è utilizzato solo da NodeManager Hadoop. MapReduce

² spark.shuffle.service.port è ospitato su YARN NodeManager ma è utilizzato solo da Apache Spark.

Problema noto

La yarn.log.server.url configurazione in utilizza attualmente HTTP con la porta 19888, che impedisce l'accesso ai log delle applicazioni dall'interfaccia utente di Resource Manager. Riguarda la versione: da EMR - 7.3.0 a EMR - 7.8.0.

Usa la seguente soluzione alternativa:

Hadoop HDFS

Il nodo dei nomi Hadoop, il nodo dati e il nodo journal supportano tutti TLS per impostazione predefinita se la crittografia in transito è abilitata nei cluster EMR.

Secure Hadoop RPC è impostato su e utilizza la crittografia in transito. privacy SASL-based Ciò richiede che l'autenticazione Kerberos sia abilitata nella configurazione di sicurezza.

Si consiglia di non modificare le porte predefinite utilizzate per gli endpoint HTTPS.

La crittografia dei dati nel trasferimento a blocchi HDFS utilizza AES 256 e richiede che la crittografia a riposo sia abilitata nella configurazione di sicurezza.

Per ulteriori informazioni, consulta Hadoop in secure mode (Hadoop in modalità protetta) nella documentazione di Apache Hadoop.

Hadoop MapReduce

Hadoop MapReduce, Job History Server e MapReduce shuffle supportano tutti TLS per impostazione predefinita quando la crittografia in transito è abilitata nei cluster EMR.

Lo shuffle crittografato di Hadoop MapReduce utilizza TLS.

Ti consigliamo di non modificare le porte predefinite per gli endpoint HTTPS.

Per ulteriori informazioni, consulta Hadoop in secure mode (Hadoop in modalità protetta) nella documentazione di Apache Hadoop.

¹ mapreduce.shuffle.port è ospitato su YARN NodeManager ma è utilizzato solo da MapReduce Hadoop.

Presto

Nelle versioni 5.6.0 e successive di Amazon EMR, la comunicazione interna tra il coordinatore Presto e i lavoratori utilizza TLS. Amazon EMR configura tutte le configurazioni necessarie per consentire una comunicazione interna sicura in Presto. https://prestodb.io/docs/current/security/internal-communication.html

Se il connettore utilizza il metastore Hive come archivio di metadati, anche la comunicazione tra il comunicatore e il metastore Hive è crittografata con TLS.

Trino

Nelle versioni 6.1.0 e successive di Amazon EMR, la comunicazione interna tra il coordinatore Presto e i lavoratori utilizza TLS. Amazon EMR configura tutte le configurazioni necessarie per consentire una comunicazione interna sicura in Trino. https://trino.io/docs/current/security/internal-communication.html

Se il connettore utilizza il metastore Hive come archivio di metadati, anche la comunicazione tra il comunicatore e il metastore Hive è crittografata con TLS.

Hive e Tez

Per impostazione predefinita, Hive server 2, Hive metastore server, Hive LLAP Daemon web UI e Hive LLAP shuffle supportano tutti TLS quando la crittografia in transito è abilitata nei cluster EMR. Per ulteriori informazioni sulle https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties configurazioni di Hive, consulta Proprietà di configurazione.

L'interfaccia utente Tez ospitata sul server Tomcat è attiva anche HTTPS-enabled quando la crittografia in transito è abilitata nel cluster EMR. Tuttavia, HTTPS è disabilitato per il servizio di interfaccia utente web Tez AM, quindi gli utenti AM non hanno accesso al file keystore per il listener SSL di apertura. Puoi anche abilitare questo comportamento con le configurazioni booleane e. tez.am.tez-ui.webservice.enable.ssl tez.am.tez-ui.webservice.enable.client.auth

Flink

Gli endpoint REST di Apache Flink e la comunicazione interna tra i processi flink supportano TLS per impostazione predefinita quando si abilita la crittografia in transito nei cluster EMR.

security.ssl.internal.enabledè impostato true e utilizza la crittografia in transito per la comunicazione interna tra i processi Flink. Se non desideri la crittografia in transito per le comunicazioni interne, disabilita tale configurazione. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Amazon EMR imposta true e utilizza security.ssl.rest.enabled la crittografia in transito per gli endpoint REST. Inoltre, Amazon EMR è impostato su true historyserver.web.ssl.enabled per utilizzare la comunicazione TLS con il server di cronologia Flink. Se non desideri la crittografia in transito per i punti REST, disabilita queste configurazioni. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Amazon EMR utilizza security.ssl.algorithms. per specificare l'elenco di cifrari che utilizzano la crittografia. AES-based Sostituisci questa configurazione per utilizzare i codici che desideri.

Per ulteriori informazioni, vedi Configurazione SSL nella documentazione di Flink.

HBase

Amazon EMR imposta Secure Hadoop RPC su. https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SecureMode.html#Data_Encryption_on_RPC privacy HMaster e utilizza la crittografia in transito. RegionServer SASL-based Ciò richiede che l'autenticazione Kerberos sia abilitata nella configurazione di sicurezza.

Amazon EMR è impostato su true e utilizza TLS hbase.ssl.enabled per gli endpoint dell'interfaccia utente. Se non desideri utilizzare TLS per gli endpoint dell'interfaccia utente, disabilita questa configurazione. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Amazon EMR imposta hbase.rest.ssl.enabled hbase.thrift.ssl.enabled e utilizza TLS rispettivamente per gli endpoint dei server REST e Thirft. Se non desideri utilizzare TLS per questi endpoint, disabilita questa configurazione. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

A partire da EMR 7.6.0, TLS è supportato su HMaster e sugli endpoint. RegionServer Amazon EMR imposta anche e. hbase.server.netty.tls.enabled hbase.client.netty.tls.enabled Se non desideri utilizzare TLS per questi endpoint, disabilita questa configurazione. Ti consigliamo di utilizzare la configurazione predefinita, che fornisce la crittografia e quindi una maggiore sicurezza. Per saperne di più, consulta Transport Level Security (TLS) nella comunicazione HBase RPC nella Apache HBase Reference Guide.

Phoenix

Se hai abilitato la crittografia in transito nel tuo cluster EMR, Phoenix Query Server supporta la proprietà TLS, che è impostata per impostazione predefinita. phoenix.queryserver.tls.enabled true

Per ulteriori informazioni, consultate Configurazioni relative a HTTPS nella documentazione di Phoenix Query Server.

Oozie

OOZIE-3673è disponibile su Amazon EMR se esegui Oozie su Amazon EMR 7.3.0 e versioni successive. Se devi configurare protocolli SSL o TLS personalizzati quando esegui un'azione e-mail, puoi impostare la proprietà nel file. oozie.email.smtp.ssl.protocols oozie-site.xml Per impostazione predefinita, se hai abilitato la crittografia in transito, Amazon EMR utilizza il protocollo TLS v1.3.

OOZIE-3677e OOZIE-3674 sono disponibili anche su Amazon EMR se esegui Oozie su Amazon EMR 7.3.0 e versioni successive. Ciò consente di specificare le proprietà e in. keyStoreType trustStoreType oozie-site.xml OOZIE-3674 aggiunge il parametro --insecure al client Oozie in modo che possa ignorare gli errori del certificato.

Oozie applica la verifica del nome host TLS, il che significa che qualsiasi certificato utilizzato per la crittografia in transito deve soddisfare i requisiti di verifica del nome host. Se il certificato non soddisfa i criteri, il cluster potrebbe bloccarsi nella oozie share lib update fase in cui Amazon EMR effettua il provisioning del cluster. Ti consigliamo di aggiornare i certificati per assicurarti che siano conformi alla verifica del nome host. Tuttavia, se non riesci ad aggiornare i certificati, puoi disattivare SSL per Oozie impostando la oozie.https.enabled proprietà su nella configurazione del cluster. false

Hue

Per impostazione predefinita, Hue supporta TLS quando la crittografia in transito è abilitata nei cluster Amazon EMR. Per ulteriori informazioni sulle configurazioni Hue, consulta Configurare Hue con HTTPS/SSL.

Livy

Per impostazione predefinita, Livy supporta TLS quando la crittografia in transito è abilitata nei cluster Amazon EMR. Per ulteriori informazioni sulle configurazioni di Livy, consulta Abilitare HTTPS con Apache Livy. https://docs.aws.amazon.com/emr/latest/ReleaseGuide/enabling-https.html

A partire da Amazon EMR 7.3.0, se utilizzi la crittografia in transito e l'autenticazione Kerberos, non puoi utilizzare il server Livy per le applicazioni Spark che dipendono dal metastore Hive. Questo problema è stato risolto HIVE-16340 ed è completamente risolto SPARK-44114 quando l'applicazione Spark open source può essere aggiornata a Hive 3. Nel frattempo, puoi risolvere questo problema se lo imposti. hive.metastore.use.SSL false Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.

Per ulteriori informazioni, consulta Abilitare HTTPS con Apache Livy.

JupyterEnterpriseGateway

Per impostazione predefinita, Jupyter Enterprise Gateway supporta TLS quando la crittografia in transito è abilitata nei cluster Amazon EMR. Per ulteriori informazioni sulle configurazioni di Jupyter Enterprise Gateway, consulta Securing Enterprise Gateway Server. https://jupyter-enterprise-gateway.readthedocs.io/en/v1.2.0/getting-started-security.html#securing-enterprise-gateway-server

JupyterHub

Per impostazione predefinita, JupyterHub supporta TLS quando la crittografia in transito è abilitata nei cluster Amazon EMR. Per ulteriori informazioni, consulta Abilitazione della crittografia SSL nella documentazione. JupyterHub Non è consigliabile disattivare la crittografia.

Zeppelin

Per impostazione predefinita, Zeppelin supporta TLS quando abiliti la crittografia in transito nel tuo cluster EMR. Per ulteriori informazioni sulle configurazioni Zeppelin, vedi Configurazione SSL nella documentazione di Zeppelin. https://zeppelin.apache.org/docs/0.11.1/setup/operation/configuration.html#ssl-configuration

Zookeeper

Amazon EMR è impostato serverCnxnFactory per abilitare il TLS org.apache.zookeeper.server.NettyServerCnxnFactory per il quorum di Zookeeper e le comunicazioni con i clienti.

secureClientPortspecifica la porta che ascolta le connessioni TLS. Se il client non supporta le connessioni TLS a Zookeeper, i client possono connettersi alla porta non sicura 2181 specificata in. clientPort Puoi sovrascrivere o disabilitare queste due porte.

Amazon EMR imposta entrambi sslQuorum e admin.forceHttps per true abilitare la comunicazione TLS per il quorum e il server di amministrazione. Se non desideri la crittografia in transito per il quorum e il server di amministrazione, puoi disabilitare tali configurazioni. Ti consigliamo di utilizzare le configurazioni predefinite per la massima sicurezza.

Per ulteriori informazioni, vedi Crittografia, autenticazione, opzioni di autorizzazione nella documentazione di Zookeeper.