Transparente Verschlüsselung in HDFS auf Amazon EMR

Erstellen von Verschlüsselungszonen und deren Schlüssel während der Cluster-Erstellung unter Verwendung der CLI

Mithilfe der hdfs-encryption-zones-Klassifizierung im Konfiguration-API-Vorgang können Sie bei der Erstellung eines Clusters einen Schlüsselnamen und eine Verschlüsselungszone angeben. Amazon EMR erstellt diesen Schlüssel im Hadoop-KMS auf Ihrem Cluster und konfiguriert die Verschlüsselungszone.

• Erstellen Sie einen Cluster mit dem folgenden Befehl.

  aws emr create-cluster --release-label emr-7.7.0 --instance-type m5.xlarge --instance-count 2 \
  --applications Name=App1 Name=App2 --configurations https://s3.amazonaws.com/amzn-s3-demo-bucket/myfolder/myConfig.json

  Anmerkung

  Linux-Zeilenfortsetzungszeichen (\) sind aus Gründen der Lesbarkeit enthalten. Sie können entfernt oder in Linux-Befehlen verwendet werden. Entfernen Sie sie unter Windows oder ersetzen Sie sie durch ein Caret-Zeichen (^).

  myConfig.json:

  [
    {
      "Classification": "hdfs-encryption-zones",
      "Properties": {
        "/myHDFSPath1": "path1_key",
        "/myHDFSPath2": "path2_key"
      }
    }
  ]

Manuelles Erstellen von Verschlüsselungszonen und deren Schlüssel auf dem Master-Knoten

1. Starten Ihres Clusters mit einer Amazon-EMR-Version größer als 4.1.0.

2. Stellen Sie mit dem Hauptknoten Ihres Clusters mithilfe von SSH eine Verbindung her.

3. Erstellen Sie einen Schlüssel im Hadoop-KMS.

   $ hadoop key create path2_key
   path2_key has been successfully created with options Options{cipher='AES/CTR/NoPadding', bitLength=256, description='null', attributes=null}.
   KMSClientProvider[http://ip-x-x-x-x.ec2.internal:16000/kms/v1/] has been updated.

   Wichtig

   Die Schlüsselnamen müssen im Hadoop-KMS in Kleinbuchstaben geschrieben werden. Wenn Sie einen Schlüssel mit Großbuchstaben verwenden, wird der Start Ihres Clusters fehlschlagen.

4. Erstellen des Verschlüsselungszonenpfads in HDFS.

   $ hadoop fs -mkdir /myHDFSPath2

5. Machen Sie den HDFS-Pfad mit dem von Ihnen erstellten Schlüssel zu einer Verschlüsselungszone.

   $ hdfs crypto -createZone -keyName path2_key -path /myHDFSPath2
   Added encryption zone /myHDFSPath2

Um Verschlüsselungszonen und ihre Schlüssel manuell zu erstellen, verwenden Sie den AWS CLI

• Fügen Sie manuell Schritte zum Erstellen der KMS-Schlüssel und Verschlüsselungszonen mithilfe des folgenden Befehls hinzu.

  aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps Type=CUSTOM_JAR,Name="Create First Hadoop KMS Key",Jar="command-runner.jar",ActionOnFailure=CONTINUE,Args=[/bin/bash,-c,"\"hadoop key create path1_key\""] \
  Type=CUSTOM_JAR,Name="Create First Hadoop HDFS Path",Jar="command-runner.jar",ActionOnFailure=CONTINUE,Args=[/bin/bash,-c,"\"hadoop fs -mkdir /myHDFSPath1\""] \
  Type=CUSTOM_JAR,Name="Create First Encryption Zone",Jar="command-runner.jar",ActionOnFailure=CONTINUE,Args=[/bin/bash,-c,"\"hdfs crypto -createZone -keyName path1_key -path /myHDFSPath1\""] \
  Type=CUSTOM_JAR,Name="Create Second Hadoop KMS Key",Jar="command-runner.jar",ActionOnFailure=CONTINUE,Args=[/bin/bash,-c,"\"hadoop key create path2_key\""] \
  Type=CUSTOM_JAR,Name="Create Second Hadoop HDFS Path",Jar="command-runner.jar",ActionOnFailure=CONTINUE,Args=[/bin/bash,-c,"\"hadoop fs -mkdir /myHDFSPath2\""] \
  Type=CUSTOM_JAR,Name="Create Second Encryption Zone",Jar="command-runner.jar",ActionOnFailure=CONTINUE,Args=[/bin/bash,-c,"\"hdfs crypto -createZone -keyName path2_key -path /myHDFSPath2\""] 
  

  Anmerkung

  Linux-Zeilenfortsetzungszeichen (\) sind aus Gründen der Lesbarkeit enthalten. Sie können entfernt oder in Linux-Befehlen verwendet werden. Entfernen Sie sie unter Windows oder ersetzen Sie sie durch ein Caret-Zeichen (^).

So richten Sie Hadoop KMS ACLs mit der CLI ein

• Erstellen Sie mit dem folgenden Befehl einen Cluster ACLs mit Hadoop KMS:

  aws emr create-cluster --release-label emr-7.7.0 --instance-type m5.xlarge --instance-count 2 \
  --applications Name=App1 Name=App2 --configurations https://s3.amazonaws.com/amzn-s3-demo-bucket/myfolder/myConfig.json

  Anmerkung

  Linux-Zeilenfortsetzungszeichen (\) sind aus Gründen der Lesbarkeit enthalten. Sie können entfernt oder in Linux-Befehlen verwendet werden. Entfernen Sie sie unter Windows oder ersetzen Sie sie durch ein Caret-Zeichen (^).

  myConfig.json:

  [
      {
        "Classification": "hadoop-kms-acls",
        "Properties": {
          "hadoop.kms.blacklist.CREATE": "hdfs,foo,myBannedUser",
          "hadoop.kms.acl.ROLLOVER": "myAllowedUser"       
        }
      }
    ]
  

Deaktivieren des Hadoop-KMS-Cache mithilfe der CLI

• Verwenden Sie den folgenden Befehl, um einen Cluster mit Hadoop-KMS zu erstellen, wobei hadoop.kms.cache.enable auf false festgelegt ist:

  aws emr create-cluster --release-label emr-7.7.0 --instance-type m5.xlarge --instance-count 2 \
  --applications Name=App1 Name=App2 --configurations https://s3.amazonaws.com/amzn-s3-demo-bucket/myfolder/myConfig.json

  Anmerkung

  Linux-Zeilenfortsetzungszeichen (\) sind aus Gründen der Lesbarkeit enthalten. Sie können entfernt oder in Linux-Befehlen verwendet werden. Entfernen Sie sie unter Windows oder ersetzen Sie sie durch ein Caret-Zeichen (^).

  myConfig.json:

  [
      {
        "Classification": "hadoop-kms-site",
        "Properties": {
          "hadoop.kms.cache.enable": "false"
        }
      }
    ]
  

Einrichten der Umgebungsvariablen im Skript kms-env.sh mit CLI

• Ändern der Einstellungen in kms-env.sh über die hadoop-kms-env-Konfiguration. Verwenden Sie den folgenden Befehl, um einen Cluster mit Hadoop-KMS zu erstellen:

  aws emr create-cluster --release-label emr-7.7.0 --instance-type m5.xlarge --instance-count 2 \
  --applications Name=App1 Name=App2 --configurations https://s3.amazonaws.com/amzn-s3-demo-bucket/myfolder/myConfig.json

  Anmerkung

  Linux-Zeilenfortsetzungszeichen (\) sind aus Gründen der Lesbarkeit enthalten. Sie können entfernt oder in Linux-Befehlen verwendet werden. Entfernen Sie sie unter Windows oder ersetzen Sie sie durch ein Caret-Zeichen (^).

  myConfig.json:

  [
    {
      "Classification": "hadoop-kms-env",
      "Properties": {     
      },
      "Configurations": [
        {
          "Classification": "export",
          "Properties": {
            "JAVA_LIBRARY_PATH": "/path/to/files",
            "KMS_SSL_KEYSTORE_FILE": "/non/Default/Path/.keystore",
            "KMS_SSL_KEYSTORE_PASS": "myPass"
          },
          "Configurations": [        
          ]
        }
      ]
    }
  ]