Verschlüsselungsoptionen für Amazon EMR - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verschlüsselungsoptionen für Amazon EMR

Mit EMR Amazon-Versionen 4.8.0 und höher können Sie eine Sicherheitskonfiguration verwenden, um Einstellungen für die Verschlüsselung von Daten im Ruhezustand, Daten während der Übertragung oder beidem festzulegen. Wenn Sie die Verschlüsselung von Daten im Ruhezustand aktivieren, können Sie wählen, ob Sie EMRFS Daten in Amazon S3, Daten auf lokalen Festplatten oder beides verschlüsseln möchten. Jede Sicherheitskonfiguration, die Sie erstellen, wird in Amazon und EMR nicht in der Cluster-Konfiguration gespeichert, sodass Sie eine Konfiguration problemlos wiederverwenden können, um Datenverschlüsselungseinstellungen anzugeben, wann immer Sie einen Cluster erstellen. Weitere Informationen finden Sie unter Erstellen Sie eine Sicherheitskonfiguration mit der EMR Amazon-Konsole oder mit dem AWS CLI.

Das folgende Diagramm zeigt die verschiedenen Datenverschlüsselungsoptionen, die für die Sicherheitskonfigurationen zur Verfügung stehen.

Amazon bietet mehrere Verschlüsselungsoptionen während der Übertragung und im Ruhezustand. EMR

Die folgenden Verschlüsselungsoptionen stehen ebenfalls zur Verfügung und werden nicht mit einer Sicherheitskonfiguration konfiguriert:

Anmerkung

Ab EMR Amazon-Version 5.24.0 können Sie eine Sicherheitskonfigurationsoption verwenden, um EBS Root-Geräte und Speichervolumes zu verschlüsseln, wenn Sie dies AWS KMS als Ihren Schlüsselanbieter angeben. Weitere Informationen finden Sie unter Verschlüsselung lokaler Datenträger.

Die Datenverschlüsselung erfordert Aktivierungsschlüssel und Zertifikate. Eine Sicherheitskonfiguration bietet Ihnen die Flexibilität, aus mehreren Optionen zu wählen, darunter Schlüssel AWS Key Management Service, die von Amazon S3 verwaltet werden, sowie Schlüssel und Zertifikate von benutzerdefinierten Anbietern, die Sie bereitstellen. Bei der Nutzung AWS KMS als Schlüsselanbieter fallen Gebühren für die Speicherung und Verwendung von Verschlüsselungsschlüsseln an. Weitere Informationen finden Sie unter AWS KMS Preise.

Bevor Sie die Verschlüsselungsoptionen angeben, legen Sie fest, welche Verwaltungssysteme Sie für die Schlüssel und Zertifikate verwenden möchten. Auf diese Weise können Sie zunächst die Schlüssel und Zertifikate bzw. die von Ihnen bestimmten Anbieter erstellen, die Sie als Teil der Verschlüsselungseinstellungen verwenden möchten.

Verschlüsselung im Ruhezustand für EMRFS Daten in Amazon S3

Die Amazon S3-Verschlüsselung funktioniert mit den Amazon EMR File System (EMRFS) -Objekten, die aus Amazon S3 gelesen und in Amazon S3 geschrieben wurden. Sie geben die serverseitige Amazon S3 S3-Verschlüsselung (SSE) oder die clientseitige Verschlüsselung (CSE) als Standardverschlüsselungsmodus an, wenn Sie die Verschlüsselung im Ruhezustand aktivieren. Optional können Sie verschiedene Verschlüsselungsmethoden für einzelne Buckets mithilfe von Per bucket encryption overrides (Bucket-weises Überschreiben der Verschlüsselung) angeben. Unabhängig davon, ob die Amazon S3-Verschlüsselung aktiviert ist, verschlüsselt Transport Layer Security (TLS) die EMRFS Objekte, die zwischen EMR Clusterknoten und Amazon S3 übertragen werden. Weitere Informationen zur Amazon S3 S3-Verschlüsselung finden Sie unter Schützen von Daten durch Verschlüsselung im Amazon Simple Storage Service-Benutzerhandbuch.

Anmerkung

Bei der Nutzung AWS KMS fallen Gebühren für die Speicherung und Verwendung von Verschlüsselungsschlüsseln an. Weitere Informationen finden Sie unter AWS KMS -Preisgestaltung.

Serverseitige Verschlüsselung im Amazon S3

Wenn Sie die Amazon-S3-Verschlüsselung einrichten, verschlüsselt Amazon S3 die Daten auf der Objektebene, während die Daten auf den Datenträger geschrieben werden, und entschlüsselt sie, wenn auf sie zugegriffen wird. Weitere Informationen SSE dazu finden Sie unter Schützen von Daten mithilfe serverseitiger Verschlüsselung im Amazon Simple Storage Service-Benutzerhandbuch.

Bei der Angabe SSE in Amazon können Sie zwischen zwei verschiedenen Schlüsselverwaltungssystemen wählenEMR:

  • SSE-S3 — Amazon S3 verwaltet Schlüssel für Sie.

  • SSE- KMS — Sie verwenden eine AWS KMS key , um Richtlinien einzurichten, die für Amazon geeignet sindEMR. Weitere Informationen zu den wichtigsten Anforderungen für Amazon EMR finden Sie unter AWS KMS keys Zur Verschlüsselung verwenden.

SSEmit vom Kunden bereitgestellten Schlüsseln (SSE-C) ist nicht für die Verwendung mit Amazon verfügbar. EMR

Clientseitige Verschlüsselung für Amazon S3

Bei der clientseitigen Amazon S3 S3-Verschlüsselung erfolgt die Amazon S3 S3-Verschlüsselung und Entschlüsselung im EMRFS Client auf Ihrem Cluster. Objekte werden vor dem Hochladen nach Amazon S3 verschlüsselt und nach dem Herunterladen entschlüsselt. Der von Ihnen festgelegte Anbieter stellt den vom Client verwendeten Verschlüsselungsschlüssel bereit. Der Client kann die von AWS KMS (CSE-KMS) bereitgestellten Schlüssel oder eine benutzerdefinierte Java-Klasse verwenden, die den clientseitigen Stammschlüssel (-C) bereitstellt. CSE Die Verschlüsselungsspezifikationen zwischen CSE - KMS und CSE -C unterscheiden sich geringfügig, abhängig vom angegebenen Anbieter und den Metadaten des Objekts, das entschlüsselt oder verschlüsselt wird. Weitere Informationen zu diesen Unterschieden finden Sie unter Schützen von Daten durch clientseitige Verschlüsselung im Entwicklerhandbuch von Amazon Simple Storage Service.

Anmerkung

Amazon S3 stellt CSE lediglich sicher, dass die mit Amazon S3 ausgetauschten EMRFS Daten verschlüsselt sind. Nicht alle Daten auf Cluster-Instance-Volumes sind verschlüsselt. Da Hue es nicht verwendetEMRFS, werden Objekte, die der Hue S3 File Browser in Amazon S3 schreibt, außerdem nicht verschlüsselt.

Verschlüsselung im Ruhezustand für Daten in Amazon EMR WAL

Wenn Sie serverseitige Verschlüsselung (SSE) für die Write-Ahead-Protokollierung (WAL) einrichten, EMR verschlüsselt Amazon Daten im Ruhezustand. Bei der Angabe SSE in Amazon können Sie zwischen zwei verschiedenen Schlüsselverwaltungssystemen wählenEMR:

SSE-EMR-WAL

Amazon EMR verwaltet die Schlüssel für Sie. Standardmäßig EMR verschlüsselt Amazon die Daten, die Sie bei Amazon EMR WAL gespeichert haben, mit SSE-EMR-WAL.

SSE-KMS-WAL

Sie verwenden einen AWS KMS Schlüssel, um Richtlinien einzurichten, die für Amazon gelten EMRWAL. Weitere Informationen zu den wichtigsten Anforderungen für Amazon EMR finden Sie unterAWS KMS keys Für die Verschlüsselung verwenden.

Sie können Ihren eigenen Schlüssel nicht verwendenSSE, wenn Sie WAL bei Amazon aktivierenEMR. Weitere Informationen finden Sie unter Write-Ahead-Logs (WAL) für Amazon. EMR

Verschlüsselung lokaler Datenträger

Die folgenden Mechanismen arbeiten zusammen, um lokale Festplatten zu verschlüsseln, wenn Sie die lokale Festplattenverschlüsselung mithilfe einer EMR Amazon-Sicherheitskonfiguration aktivieren.

Open-Source-Verschlüsselung HDFS

HDFStauscht während der verteilten Verarbeitung Daten zwischen Clusterinstanzen aus. Außerdem werden Daten von Instance-Speicher-Volumes und den an Instances angehängten EBS Volumes gelesen und in diese geschrieben. Wenn Sie die lokale Laufwerksverschlüsselung aktivieren, werden die folgenden Open-Source-Hadoop-Verschlüsselungsoptionen aktiviert:

Anmerkung

Sie können zusätzlich die Apache Hadoop-Verschlüsselung verwenden, indem Sie die Verschlüsselung während der Übertragung aktivieren. Weitere Informationen finden Sie unter Verschlüsselung während der Übertragung. Diese Verschlüsselungseinstellungen aktivieren keine HDFS transparente Verschlüsselung, die Sie manuell konfigurieren können. Weitere Informationen finden Sie unter Transparente Verschlüsselung HDFS bei Amazon EMR im Amazon EMR Release Guide.

Instance-Speicher-Verschlüsselung

Bei EC2 Instance-Typen, die NVMe based SSDs als Instance-Speicher-Volume verwenden, wird die NVMe Verschlüsselung unabhängig von den EMR Amazon-Verschlüsselungseinstellungen verwendet. Weitere Informationen finden Sie in den NVMeSSDBänden im EC2Amazon-Benutzerhandbuch. Für andere Instance-Speicher-Volumes EMR verwendet Amazon, LUKS um das Instance-Speicher-Volume zu verschlüsseln, wenn die lokale Festplattenverschlüsselung aktiviert ist, unabhängig davon, ob EBS Volumes verschlüsselt EBS sind oderLUKS.

EBSVolumenverschlüsselung

Wenn Sie einen Cluster in einer Region erstellen, in der die EC2 Amazon-Verschlüsselung von EBS Volumes standardmäßig für Ihr Konto aktiviert ist, werden EBS Volumes verschlüsselt, auch wenn die lokale Festplattenverschlüsselung nicht aktiviert ist. Weitere Informationen finden Sie unter Standardverschlüsselung im EC2Amazon-Benutzerhandbuch. Wenn die lokale Festplattenverschlüsselung in einer Sicherheitskonfiguration aktiviert ist, haben die EMR Amazon-Einstellungen Vorrang vor den EC2 encryption-by-default Amazon-Einstellungen für EC2 Cluster-Instances.

Die folgenden Optionen sind verfügbar, um EBS Volumes mithilfe einer Sicherheitskonfiguration zu verschlüsseln:

  • EBSVerschlüsselung — Ab EMR Amazon-Version 5.24.0 können Sie wählen, ob Sie die Verschlüsselung aktivieren EBS möchten. Die EBS Verschlüsselungsoption verschlüsselt das EBS Root-Geräte-Volume und die angehängten Speichervolumes. Die EBS Verschlüsselungsoption ist nur verfügbar, wenn Sie dies AWS Key Management Service als Ihren Schlüsselanbieter angeben. Wir empfehlen die Verwendung von EBS Verschlüsselung.

  • LUKSVerschlüsselung — Wenn Sie sich für die LUKS Verschlüsselung für EBS Amazon-Volumes entscheiden, gilt die LUKS Verschlüsselung nur für angehängte Speichervolumes, nicht für das Root-Geräte-Volume. Weitere Informationen zur LUKS Verschlüsselung finden Sie in der LUKSFestplattenspezifikation.

    Für Ihren Schlüsselanbieter können Sie eine für Amazon geeignete AWS KMS key With-Richtlinie oder eine benutzerdefinierte Java-Klasse einrichtenEMR, die die Verschlüsselungsartefakte bereitstellt. Bei der Nutzung AWS KMS fallen Gebühren für die Speicherung und Verwendung von Verschlüsselungsschlüsseln an. Weitere Informationen finden Sie unter AWS KMS Preise.

Anmerkung

Um zu überprüfen, ob die EBS Verschlüsselung auf Ihrem Cluster aktiviert ist, wird empfohlen, DescribeVolumes API Call zu verwenden. Weitere Informationen finden Sie unter DescribeVolumes. Bei der Ausführung lsblk auf dem Cluster wird nur der LUKS Verschlüsselungsstatus und nicht der EBS Verschlüsselungsstatus überprüft.

Verschlüsselung während der Übertragung

Bei der Verschlüsselung während der Übertragung sind mehrere Verschlüsselungsmechanismen aktiviert. Dies sind Open-Source-Funktionen, die anwendungsspezifisch sind und je nach Amazon-Version variieren können. EMR Verwenden Sie in AmazonEMR, um die Verschlüsselung bei Erstellen Sie eine Sicherheitskonfiguration mit der EMR Amazon-Konsole oder mit dem AWS CLI der Übertragung zu aktivieren. Für EMR Cluster mit aktivierter Verschlüsselung bei der Übertragung konfiguriert Amazon EMR automatisch die Open-Source-Anwendungskonfigurationen, um die Verschlüsselung bei der Übertragung zu aktivieren. Für fortgeschrittene Anwendungsfälle können Sie Open-Source-Anwendungskonfigurationen direkt konfigurieren, um das Standardverhalten in Amazon EMR zu überschreiben. Weitere Informationen finden Sie in der Unterstützungsmatrix für Verschlüsselung bei der Übertragung und unter Anwendungen konfigurieren.

Im Folgenden finden Sie genauere Informationen zu Open-Source-Anwendungen, die für die Verschlüsselung bei der Übertragung relevant sind:

  • Wenn Sie die Verschlüsselung während der Übertragung mit einer Sicherheitskonfiguration aktivieren, EMR aktiviert Amazon die Verschlüsselung während der Übertragung für alle Open-Source-Anwendungsendpunkte, die Verschlüsselung bei der Übertragung unterstützen. Die Support der Verschlüsselung während der Übertragung für verschiedene Anwendungsendpunkte variiert je nach EMR Amazon-Release-Version. Weitere Informationen finden Sie in der Unterstützungsmatrix für Verschlüsselung bei der Übertragung.

  • Sie können Open-Source-Konfigurationen überschreiben, sodass Sie Folgendes tun können:

    • Deaktivieren Sie die Überprüfung TLS des Hostnamens, wenn Ihre vom Benutzer bereitgestellten TLS Zertifikate die Anforderungen nicht erfüllen

    • Deaktivieren Sie die Verschlüsselung während der Übertragung für bestimmte Endgeräte je nach Ihren Leistungs- und Kompatibilitätsanforderungen

    • Steuern Sie, welche TLS Versionen und Cipher Suites verwendet werden sollen.

    Weitere Informationen zu den anwendungsspezifischen Konfigurationen finden Sie in der Unterstützungsmatrix für Verschlüsselung bei der Übertragung

  • Neben der Aktivierung der Verschlüsselung bei der Übertragung mit einer Sicherheitskonfiguration erfordern einige Kommunikationskanäle auch zusätzliche Sicherheitskonfigurationen, damit Sie die Verschlüsselung bei der Übertragung aktivieren können. Beispielsweise verwenden einige Open-Source-Anwendungsendpunkte Simple Authentication und Security Layer (SASL) für die Verschlüsselung bei der Übertragung, was voraussetzt, dass die Kerberos-Authentifizierung in der Sicherheitskonfiguration des Clusters aktiviert ist. EMR Weitere Informationen zu diesen Endpunkten finden Sie in der Unterstützungsmatrix für Verschlüsselung bei der Übertragung.

  • Wir empfehlen die Verwendung von Software, die Version TLS 1.2 oder höher unterstützt. Amazon EMR on EC2 liefert die JDK Standard-Corretto-Distribution aus, die festlegt, welche TLS Versionen, Cipher Suites und Schlüsselgrößen von den Open-Source-Netzwerken, die auf Java laufen, zulässig sind. Derzeit setzen die meisten Open-Source-Frameworks Version TLS 1.2 oder höher für Amazon EMR 7.0.0 und höhere Versionen durch. Das liegt daran, dass die meisten Open-Source-Frameworks auf Java 17 für Amazon EMR 7.0.0 und höher laufen. Ältere EMR Amazon-Release-Versionen unterstützen möglicherweise TLS v1.0 und v1.1, da sie ältere Java-Versionen verwenden. Corretto JDK kann jedoch ändern, welche TLS Versionen von Java unterstützt werden, was sich auf bestehende Amazon-Versionen auswirken kann. EMR

Für die Verwendung der Verschlüsselungsartefakte bei der Verschlüsselung von Daten während der Übertragung stehen Ihnen zwei Optionen zur Verfügung: die Bereitstellung einer ZIP-Datei mit den Zertifikaten, die Sie auf Amazon S3 hochladen, oder der Verweis auf eine benutzerdefinierte Java-Klasse, die Verschlüsselungsartefakte bereitstellt. Weitere Informationen finden Sie unter Bereitstellung von Zertifikaten für die Verschlüsselung von Daten während der Übertragung mit EMR Amazon-Verschlüsselung.