Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Grundlegendes zur Verschlüsselung bei der Übertragung

Sie können einen EMR Cluster so konfigurieren, dass er Open-Source-Frameworks wie Apache Spark, Apache Hive und Presto ausführt. Jedes dieser Open-Source-Frameworks hat eine Reihe von Prozessen, die auf den EC2 Instanzen eines Clusters ausgeführt werden. Jeder dieser Prozesse kann Netzwerkendpunkte für die Netzwerkkommunikation hosten.

Wenn die Verschlüsselung während der Übertragung auf einem EMR Cluster aktiviert ist, verwenden verschiedene Netzwerkendpunkte unterschiedliche Verschlüsselungsmechanismen. In den folgenden Abschnitten erfahren Sie mehr über die spezifischen Open-Source-Framework-Netzwerkendpunkte, die mit der Verschlüsselung während der Übertragung unterstützt werden, die zugehörigen Verschlüsselungsmechanismen und welche EMR Amazon-Version diese Unterstützung hinzugefügt hat. Jede Open-Source-Anwendung verfügt möglicherweise auch über unterschiedliche bewährte Methoden und Open-Source-Framework-Konfigurationen, die Sie ändern können.

Um die Verschlüsselung während der Übertragung bestmöglich abzudecken, empfehlen wir, sowohl die Verschlüsselung während der Übertragung als auch Kerberos zu aktivieren. Wenn Sie nur die Verschlüsselung bei der Übertragung aktivieren, ist die Verschlüsselung bei der Übertragung nur für die Netzwerkendpunkte verfügbar, die dies unterstützen. TLS Kerberos ist erforderlich, da einige Open-Source-Framework-Netzwerkendpunkte Simple Authentication und Security Layer () für die Verschlüsselung bei der Übertragung verwenden. SASL

Beachten Sie, dass Open-Source-Frameworks, die in Amazon EMR 7.x.x-Versionen nicht unterstützt werden, nicht enthalten sind.

Spark

Wenn Sie die Verschlüsselung während der Übertragung in Sicherheitskonfigurationen aktivieren, spark.authenticate wird automatisch die AES basierte Verschlüsselung für Verbindungen true ausgewählt und verwendet. RPC

Ab Amazon EMR 7.3.0 können Sie Spark-Anwendungen, die vom Hive-Metastore abhängen, nicht mehr verwenden, wenn Sie Verschlüsselung bei der Übertragung und Kerberos-Authentifizierung verwenden. Hive 3 behebt dieses Problem in -16340. HIVE HIVE-44114 behebt dieses Problem vollständig, wenn Open-Source-Spark auf Hive 3 aktualisiert werden kann. In der Zwischenzeit können Sie sich daran machen, dieses Problem hive.metastore.use.SSL false zu umgehen. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

Weitere Informationen finden Sie unter Spark-Sicherheit in der Apache Spark-Dokumentation.

^{1 wird auf Apache} Spark gehostetspark.shuffle.service.port, aber nur von YARN NodeManager Apache Spark verwendet.

Hadoop YARN

Secure Hadoop RPC ist auf eine SASL basierte Verschlüsselung bei der privacy Übertragung eingestellt und verwendet diese. Dies setzt voraus, dass die Kerberos-Authentifizierung in der Sicherheitskonfiguration aktiviert ist. Wenn Sie keine Verschlüsselung während der Übertragung für RPC Hadoop wünschen, konfigurieren Sie. hadoop.rpc.protection = authentication Wir empfehlen, die Standardkonfiguration für maximale Sicherheit zu verwenden.

Wenn Ihre TLS Zertifikate die Anforderungen zur Überprüfung TLS des Hostnamens nicht erfüllen, können Sie sie konfigurierenhadoop.ssl.hostname.verifier = ALLOW_ALL. Wir empfehlen Ihnen, die Standardkonfiguration von zu verwendenhadoop.ssl.hostname.verifier = DEFAULT, die die Überprüfung des TLS Hostnamens erzwingt.

Um sie HTTPS für die Endpunkte der YARN Webanwendung zu deaktivieren, konfigurieren Sie. yarn.http.policy = HTTP_ONLY Dadurch bleibt der Datenverkehr zu diesen Endpunkten unverschlüsselt. Wir empfehlen, die Standardkonfiguration für maximale Sicherheit zu verwenden.

Weitere Informationen finden Sie unter Hadoop in Secure Mode in der Apache-Hadoop-Dokumentation.

^{1 wird auf mapreduce.shuffle.port Hadoop} gehostet, aber nur YARN NodeManager von Hadoop verwendet. MapReduce

² spark.shuffle.service.port wird auf Apache Spark gehostet YARN NodeManager , aber nur von Apache Spark verwendet.

Hadoop HDFS

Der Hadoop-Name-Node, der Datenknoten und der Journal-Node unterstützen TLS standardmäßig alle, wenn die Verschlüsselung bei der Übertragung in Clustern aktiviert ist. EMR

Secure Hadoop RPC ist auf eine SASL basierte Verschlüsselung bei der Übertragung eingestellt privacy und verwendet diese. Dies setzt voraus, dass die Kerberos-Authentifizierung in der Sicherheitskonfiguration aktiviert ist.

Wir empfehlen, die für HTTPS Endgeräte verwendeten Standardports nicht zu ändern.

Die Datenverschlüsselung bei der HDFS Blockübertragung verwendet AES 256 und erfordert, dass die Verschlüsselung im Ruhezustand in der Sicherheitskonfiguration aktiviert ist.

Weitere Informationen finden Sie unter Hadoop in Secure Mode in der Apache-Hadoop-Dokumentation.

Hadoop MapReduce

Hadoop MapReduce, Job History Server und MapReduce Shuffle unterstützen TLS standardmäßig alles, wenn die Verschlüsselung bei der Übertragung in Clustern aktiviert ist. EMR

Hadoop-verschlüsseltes Shuffle verwendet MapReduce . TLS

Wir empfehlen, die Standardports für HTTPS Endgeräte nicht zu ändern.

Weitere Informationen finden Sie unter Hadoop in Secure Mode in der Apache-Hadoop-Dokumentation.

^{1 wird auf mapreduce.shuffle.port Hadoop} gehostet, aber nur YARN NodeManager von Hadoop verwendet. MapReduce

Presto

In EMR Amazon-Versionen 5.6.0 und höher verwendet TLS Amazon EMR für die interne Kommunikation zwischen dem Presto-Koordinator und den Mitarbeitern alle erforderlichen Konfigurationen, um eine sichere interne Kommunikation in Presto zu ermöglichen.

Wenn der Connector den Hive-Metastore als Metadatenspeicher verwendet, wird die Kommunikation zwischen dem Communicator und dem Hive-Metastore ebenfalls mit verschlüsselt. TLS

Trino

In EMR Amazon-Versionen 6.1.0 und höher verwendet TLS Amazon EMR für die interne Kommunikation zwischen dem Presto-Koordinator und den Mitarbeitern alle erforderlichen Konfigurationen, um eine sichere interne Kommunikation in Trino zu ermöglichen.

Wenn der Konnektor den Hive-Metastore als Metadatenspeicher verwendet, wird die Kommunikation zwischen dem Communicator und dem Hive-Metastore ebenfalls mit verschlüsselt. TLS

Hive und Tez

Standardmäßig unterstützen TLS Hive Server 2, Hive Metastore Server, Hive LLAP Daemon Web UI und Hive LLAP Shuffle alle, wenn die Verschlüsselung während der Übertragung in den Clustern aktiviert ist. EMR Weitere Informationen zu den Hive-Konfigurationen finden Sie unter Konfigurationseigenschaften.

Die Tez-Benutzeroberfläche, die auf dem Tomcat-Server gehostet wird, ist ebenfalls HTTPS aktiviert, wenn die Verschlüsselung bei der Übertragung im Cluster aktiviert ist. EMR HTTPSIst jedoch für den Tez AM-Web-UI-Dienst deaktiviert, sodass AM-Benutzer keinen Zugriff auf die Keystore-Datei für den öffnenden Listener haben. SSL Sie können dieses Verhalten auch mit den booleschen Konfigurationen und aktivieren. tez.am.tez-ui.webservice.enable.ssl tez.am.tez-ui.webservice.enable.client.auth

Flink

Apache REST Flink-Endpunkte und die interne Kommunikation zwischen Flink-Prozessen werden TLS standardmäßig unterstützt, wenn Sie die Verschlüsselung während der Übertragung in Clustern aktivieren. EMR

security.ssl.internal.enabledist auf In-Transit-Verschlüsselung eingestellt true und verwendet diese Verschlüsselung für die interne Kommunikation zwischen den Flink-Prozessen. Wenn Sie keine Verschlüsselung während der Übertragung für die interne Kommunikation wünschen, deaktivieren Sie diese Konfiguration. Wir empfehlen Ihnen, die Standardkonfiguration für maximale Sicherheit zu verwenden.

Amazon EMR stellt security.ssl.rest.enableddie Verschlüsselung während der Übertragung für die REST Endgeräte ein true und verwendet diese. Darüber hinaus setzt Amazon EMR auch historyserver.web.ssl.enabledauf true, um die TLS Kommunikation mit dem Flink-Verlaufsserver zu verwenden. Wenn Sie keine Verschlüsselung während der Übertragung für die REST Punkte wünschen, deaktivieren Sie diese Konfigurationen. Wir empfehlen Ihnen, die Standardkonfiguration für maximale Sicherheit zu verwenden.

Amazon EMR verwendet security.ssl.algorithms., um die Liste der Chiffren anzugeben, die eine AES basierte Verschlüsselung verwenden. Überschreiben Sie diese Konfiguration, um die gewünschten Chiffren zu verwenden.

Weitere Informationen finden Sie unter SSLSetup in der Flink-Dokumentation.

HBase

Amazon EMR setzt Secure Hadoop RPC aufprivacy. HMasterund RegionServer verwenden Sie eine SASL basierte Verschlüsselung bei der Übertragung. Dies setzt voraus, dass die Kerberos-Authentifizierung in der Sicherheitskonfiguration aktiviert ist.

Amazon EMR setzt hbase.ssl.enabled den Wert auf true und verwendet TLS für UI-Endpunkte. Wenn Sie diese Konfiguration nicht TLS für UI-Endpunkte verwenden möchten, deaktivieren Sie diese Konfiguration. Wir empfehlen, die Standardkonfiguration für maximale Sicherheit zu verwenden.

Amazon EMR legt die Serverendpunkte fest hbase.rest.ssl.enabled hbase.thrift.ssl.enabled und verwendet sie TLS für die REST und Thirft-Serverendpunkte. Wenn Sie diese Konfiguration nicht TLS für diese Endpunkte verwenden möchten, deaktivieren Sie diese Konfiguration. Wir empfehlen, die Standardkonfiguration für maximale Sicherheit zu verwenden.

Phoenix

Wenn Sie die Verschlüsselung während der Übertragung in Ihrem EMR Cluster aktiviert haben, unterstützt Phoenix Query Server die TLS Eigenschaftphoenix.queryserver.tls.enabled, die standardmäßig auf gesetzt ist. true

Weitere Informationen finden Sie unter Konfigurationen in Bezug auf HTTPS in der Phoenix Query Server-Dokumentation.

Oozie

OOZIE-3673 ist bei Amazon verfügbar, EMR wenn Sie Oozie auf Amazon EMR 7.3.0 und höher ausführen. Wenn Sie bei der Ausführung einer E-Mail-Aktion benutzerdefinierte Einstellungen SSL oder TLS Protokolle konfigurieren müssen, können Sie die Eigenschaft oozie.email.smtp.ssl.protocols in der Datei festlegen. oozie-site.xml Wenn Sie die Verschlüsselung bei der Übertragung aktiviert haben, EMR verwendet Amazon standardmäßig das TLS v1.3-Protokoll.

OOZIE-3677 und OOZIE-3674 sind auch bei Amazon verfügbar, EMR wenn Sie Oozie auf Amazon 7.3.0 und höher ausführen. EMR Auf diese Weise können Sie die Eigenschaften angeben und in. keyStoreType trustStoreType oozie-site.xml OOZIE-3674 fügt den Parameter dem Oozie-Client --insecure hinzu, sodass dieser Zertifikatsfehler ignorieren kann.

Oozie erzwingt die Überprüfung TLS des Hostnamens, was bedeutet, dass jedes Zertifikat, das Sie für die Verschlüsselung während der Übertragung verwenden, die Anforderungen zur Überprüfung des Hostnamens erfüllen muss. Wenn das Zertifikat die Kriterien nicht erfüllt, kann es sein, dass der Cluster in der oozie share lib update Phase, in der Amazon den Cluster EMR bereitstellt, hängen bleibt. Wir empfehlen Ihnen, Ihre Zertifikate zu aktualisieren, um sicherzustellen, dass sie der Hostnamenverifizierung entsprechen. Wenn Sie die Zertifikate jedoch nicht aktualisieren können, können Sie sie SSL für Oozie deaktivieren, indem Sie die oozie.https.enabled Eigenschaft false in der Cluster-Konfiguration auf setzen.

Hue

Standardmäßig unterstützt Hue, TLS wenn die Verschlüsselung während der Übertragung in EMR Amazon-Clustern aktiviert ist. Weitere Informationen zu Hue-Konfigurationen finden Sie unter Hue mitHTTPS/SSLkonfigurieren.

Livy

Standardmäßig unterstützt Livy, TLS wenn die Verschlüsselung während der Übertragung in EMR Amazon-Clustern aktiviert ist. Weitere Informationen zu Livy-Konfigurationen finden Sie unter Aktivierung HTTPS mit Apache Livy.

Ab Amazon EMR 7.3.0 können Sie, wenn Sie Verschlüsselung bei der Übertragung und Kerberos-Authentifizierung verwenden, den Livy-Server nicht für Spark-Anwendungen verwenden, die vom Hive-Metastore abhängen. Dieses Problem wurde in HIVE-16340 behoben und in SPARK-44114 vollständig behoben, wenn die Open-Source-Spark-Anwendung auf Hive 3 aktualisiert werden kann. In der Zwischenzeit können Sie dieses Problem umgehen, wenn Sie dies einrichten. hive.metastore.use.SSL false Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

Weitere Informationen finden Sie unter Aktivierung HTTPS mit Apache Livy.

JupyterEnterpriseGateway

Standardmäßig unterstützt Jupyter Enterprise Gateway, TLS wenn die Verschlüsselung während der Übertragung in Amazon-Clustern aktiviert ist. EMR Weitere Informationen zu den Jupyter Enterprise Gateway-Konfigurationen finden Sie unter Securing Enterprise Gateway Server.

JupyterHub

JupyterHub Unterstützt standardmäßig, TLS wenn die Verschlüsselung während der Übertragung in EMR Amazon-Clustern aktiviert ist. Weitere Informationen finden Sie in der JupyterHub Dokumentation unter SSLVerschlüsselung aktivieren. Es wird nicht empfohlen, die Verschlüsselung zu deaktivieren.

Zeppelin

Standardmäßig unterstützt Zeppelin, wenn Sie die Verschlüsselung während der Übertragung in Ihrem Cluster aktivieren. TLS EMR Weitere Informationen zu den Zeppelin-Konfigurationen finden Sie unter SSLKonfiguration in der Zeppelin-Dokumentation.

Zookeeper

Amazon EMR stellt serverCnxnFactory auf, org.apache.zookeeper.server.NettyServerCnxnFactory um das Zookeeper-Quorum und die Kundenkommunikation zu aktivierenTLS.

secureClientPortgibt den Port an, der Verbindungen abhört. TLS Wenn der Client keine TLS Verbindungen zu Zookeeper unterstützt, können sich Clients mit dem unsicheren Port 2181 verbinden, der unter angegeben ist. clientPort Sie können diese beiden Ports überschreiben oder deaktivieren.

Amazon EMR legt sslQuorum sowohl als auch auf festadmin.forceHttps, true um die TLS Kommunikation für das Quorum und den Admin-Server zu ermöglichen. Wenn Sie keine Verschlüsselung während der Übertragung für das Quorum und den Admin-Server wünschen, können Sie diese Konfigurationen deaktivieren. Wir empfehlen, die Standardkonfigurationen für maximale Sicherheit zu verwenden.

Weitere Informationen finden Sie unter Verschlüsselung, Authentifizierung und Autorisierungsoptionen in der Zookeeper-Dokumentation.