Crittografia lato client Amazon S3

Con la crittografia lato client di Amazon S3, la crittografia e la decrittografia di Amazon S3 avvengono nel client del cluster. EMRFS Gli oggetti vengono crittografati prima di essere caricati su Amazon S3 e decrittati dopo il loro download. Il provider specificato fornisce la chiave di crittografia utilizzata dal client. Il client può utilizzare le chiavi fornite da AWS KMS (CSE-KMS) o una classe Java personalizzata che fornisce la chiave radice sul lato client (-C). CSE Le specifiche di crittografia sono leggermente diverse tra CSE - KMS e CSE -C, a seconda del provider specificato e dei metadati dell'oggetto da decrittografare o crittografare. Per ulteriori informazioni su queste differenze, consulta Protezione dei dati tramite la crittografia lato client nella Guida per l'utente di Amazon Simple Storage Service.

Creazione di un provider di chiavi personalizzato

A seconda del tipo di crittografia utilizzato durante la creazione di un provider di chiavi personalizzato, l'applicazione deve inoltre implementare EncryptionMaterialsProvider interfacce diverse. Entrambe le interfacce sono disponibili nella versione 1.11.0 e successive AWS SDK per Java.

È possibile utilizzare qualsiasi strategia per fornire materiali di crittografia per l'implementazione. Ad esempio, è possibile scegliere di fornire materiali di crittografia statici o integrarli con un sistema di gestione delle chiavi più complesso.

Se utilizzi la crittografia Amazon S3, devi utilizzare gli algoritmi di crittografia AES/GCM/NoPaddingper materiali di crittografia personalizzati.

Se utilizzi la crittografia locale del disco, l'algoritmo di crittografia da utilizzare per i materiali di crittografia personalizzati varia a seconda della versione. EMR Per Amazon EMR 7.0.0 e versioni precedenti, devi usare. AES/GCM/NoPadding Per Amazon EMR 7.1.0 e versioni successive, devi usare AES.

La EncryptionMaterialsProvider classe ottiene materiali di crittografia in base al contesto di crittografia. Amazon EMR inserisce le informazioni relative al contesto di crittografia in fase di esecuzione per aiutare il chiamante a determinare i materiali di crittografia corretti da restituire.

import com.amazonaws.services.s3.model.EncryptionMaterials;
import com.amazonaws.services.s3.model.EncryptionMaterialsProvider;
import com.amazonaws.services.s3.model.KMSEncryptionMaterials;
import org.apache.hadoop.conf.Configurable;
import org.apache.hadoop.conf.Configuration;

import java.util.Map;

/**
 * Provides KMSEncryptionMaterials according to Configuration
 */
public class MyEncryptionMaterialsProviders implements EncryptionMaterialsProvider, Configurable{
  private Configuration conf;
  private String kmsKeyId;
  private EncryptionMaterials encryptionMaterials;

  private void init() {
    this.kmsKeyId = conf.get("my.kms.key.id");
    this.encryptionMaterials = new KMSEncryptionMaterials(kmsKeyId);
  }

  @Override
  public void setConf(Configuration conf) {
    this.conf = conf;
    init();
  }

  @Override
  public Configuration getConf() {
    return this.conf;
  }

  @Override
  public void refresh() {

  }

  @Override
  public EncryptionMaterials getEncryptionMaterials(Map<String, String> materialsDescription) {
    return this.encryptionMaterials;
  }

  @Override
  public EncryptionMaterials getEncryptionMaterials() {
    return this.encryptionMaterials;
  }
}

Specificare un fornitore di materiali personalizzati utilizzando il AWS CLI

Per utilizzare AWS CLI, passa gli argomenti Encryption, ProviderType, CustomProviderClass e CustomProviderLocation all'opzione emrfs.

aws emr create-cluster --instance-type m5.xlarge --release-label emr-4.7.2 or earlier --emrfs Encryption=ClientSide,ProviderType=Custom,CustomProviderLocation=s3://amzn-s3-demo-bucket/myfolder/provider.jar,CustomProviderClass=classname

Impostato Encryption per ClientSide abilitare la crittografia lato client, CustomProviderClass è il nome dell'EncryptionMaterialsProvideroggetto ed CustomProviderLocation è la posizione locale o Amazon S3 da cui EMR Amazon CustomProviderClass copia in ogni nodo del cluster e lo colloca nel classpath.

Specificare un fornitore di materiali personalizzati utilizzando un SDK

Per utilizzare unSDK, puoi impostare la proprietà fs.s3.cse.encryptionMaterialsProvider.uri per scaricare la EncryptionMaterialsProvider classe personalizzata archiviata in Amazon S3 su ogni nodo del cluster. La configuri in un emrfs-site.xml file insieme alla posizione CSE abilitata e corretta del provider personalizzato.

Ad esempio, durante l' AWS SDK for Java utilizzo RunJobFlowRequest, il codice potrebbe essere simile al seguente:

<snip>
		Map<String,String> emrfsProperties = new HashMap<String,String>();
	    	emrfsProperties.put("fs.s3.cse.encryptionMaterialsProvider.uri","s3://amzn-s3-demo-bucket/MyCustomEncryptionMaterialsProvider.jar");
	    	emrfsProperties.put("fs.s3.cse.enabled","true");
	    	emrfsProperties.put("fs.s3.consistent","true");
		    emrfsProperties.put("fs.s3.cse.encryptionMaterialsProvider","full.class.name.of.EncryptionMaterialsProvider");

		Configuration myEmrfsConfig = new Configuration()
	    	.withClassification("emrfs-site")
	    	.withProperties(emrfsProperties);

		RunJobFlowRequest request = new RunJobFlowRequest()
			.withName("Custom EncryptionMaterialsProvider")
			.withReleaseLabel("emr-7.3.0")
			.withApplications(myApp)
			.withConfigurations(myEmrfsConfig)
			.withServiceRole("EMR_DefaultRole_V2")
			.withJobFlowRole("EMR_EC2_DefaultRole")
			.withLogUri("s3://myLogUri/")
			.withInstances(new JobFlowInstancesConfig()
				.withEc2KeyName("myEc2Key")
				.withInstanceCount(2)
				.withKeepJobFlowAliveWhenNoSteps(true)
				.withMasterInstanceType("m5.xlarge")
				.withSlaveInstanceType("m5.xlarge")
			);						
					
		RunJobFlowResult result = emr.runJobFlow(request);
</snip>

Personalizza EncryptionMaterialsProvider con argomenti

È possibile che sia necessario passare degli argomenti direttamente al provider. A questo proposito, puoi utilizzare la classificazione di configurazione emrfs-site con argomenti personalizzati definiti come proprietà. Un esempio di configurazione, salvato come file myConfig.json, è riportato di seguito:

[
    {
      "Classification": "emrfs-site",
      "Properties": {
        "myProvider.arg1":"value1",
	    "myProvider.arg2":"value2"
      }
    }
 ]

Utilizzando il create-cluster comando di AWS CLI, è possibile utilizzare l'--configurationsopzione per specificare il file come illustrato di seguito:

aws emr create-cluster --release-label emr-7.3.0 --instance-type m5.xlarge --instance-count 2 --configurations file://myConfig.json --emrfs Encryption=ClientSide,CustomProviderLocation=s3://amzn-s3-demo-bucket/myfolder/myprovider.jar,CustomProviderClass=classname

Configurazione del supporto EMRFS S3EC V2

Le SDK versioni di S3 Java (1.11.837 e successive) supportano il client di crittografia versione 2 (S3EC V2) con vari miglioramenti della sicurezza. Per maggiori informazioni, consulta il post del blog S3 Updates to the Amazon S3 Encryption Client (Aggiornamenti al client di crittografia Amazon S3). Inoltre, consulta la migrazione del client di crittografia Amazon S3 nella AWS SDK for Java Developer Guide.

Il client di crittografia V1 è ancora disponibile in SDK per la compatibilità con le versioni precedenti. Per impostazione predefinita, EMRFS utilizzerà S3EC V1 per crittografare e decrittografare gli oggetti S3, se abilitato. CSE

Gli oggetti S3 crittografati con S3EC V2 non possono essere decrittografati EMRFS su un EMR cluster la cui versione di rilascio è precedente a emr-5.31.0 (emr-5.30.1 e precedenti, emr-6.1.0 e precedenti).

{
  "Classification": "emrfs-site",
  "Properties": {
    "fs.s3.cse.encryptionV2.enabled": "true"
  }
}

Proprietà di emrfs-site.xml per la crittografia lato client di Amazon S3