Opzioni di crittografia per Amazon EMR - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Opzioni di crittografia per Amazon EMR

Con le EMR versioni 4.8.0 e successive di Amazon, puoi utilizzare una configurazione di sicurezza per specificare le impostazioni per crittografare i dati inattivi, i dati in transito o entrambi. Quando abiliti la crittografia dei dati a riposo, puoi scegliere di crittografare EMRFS i dati in Amazon S3, i dati nei dischi locali o entrambi. Ogni configurazione di sicurezza che crei viene archiviata in Amazon EMR anziché nella configurazione del cluster, quindi puoi riutilizzare facilmente una configurazione per specificare le impostazioni di crittografia dei dati ogni volta che crei un cluster. Per ulteriori informazioni, consulta Crea una configurazione di sicurezza con la EMR console Amazon o con il AWS CLI.

Il diagramma seguente mostra le differenti opzioni di crittografia dei dati disponibili con le configurazioni di sicurezza.

Amazon offre diverse opzioni di crittografia in transito e a riposo. EMR

Anche le seguenti opzioni di crittografia sono disponibili e non sono configurate utilizzando una configurazione di sicurezza:

Nota

A partire dalla EMR versione Amazon 5.24.0, puoi utilizzare un'opzione di configurazione di sicurezza per crittografare i dispositivi EBS root e i volumi di storage quando lo specifichi AWS KMS come provider di chiavi. Per ulteriori informazioni, consulta Crittografia del disco locale.

La crittografia dei dati richiede chiavi e certificati. Una configurazione di sicurezza ti offre la flessibilità di scegliere tra diverse opzioni, tra cui chiavi gestite da AWS Key Management Service, chiavi gestite da Amazon S3 e chiavi e certificati di provider personalizzati da te forniti. Quando lo utilizzi AWS KMS come fornitore di chiavi, vengono addebitati costi per l'archiviazione e l'uso delle chiavi di crittografia. Per ulteriori informazioni, consulta Prezzi di AWS KMS.

Prima di specificare le opzioni di crittografia, scegli i sistemi di gestione di chiavi e certificati che intendi utilizzare, in modo da cominciare a creare chiavi e certificati o i provider personalizzati che specifichi durante l'impostazione dei parametri di crittografia.

Crittografia a riposo per EMRFS i dati in Amazon S3

La crittografia Amazon S3 funziona con gli oggetti Amazon EMR File System (EMRFS) letti e scritti su Amazon S3. Quando abiliti la crittografia a riposo, specifichi la crittografia lato server (SSE) o la crittografia lato client (CSE) di Amazon S3 come modalità di crittografia predefinita. Facoltativamente, è possibile specificare diversi metodi di crittografia per singoli bucket utilizzando override di crittografia per bucket. Indipendentemente dal fatto che la crittografia Amazon S3 sia abilitata, Transport Layer Security (TLS) crittografa EMRFS gli oggetti in transito tra i nodi del EMR cluster e Amazon S3. Per ulteriori informazioni sulla crittografia di Amazon S3, consulta Protezione dei dati mediante crittografia nella Guida per l'utente di Amazon Simple Storage Service.

Nota

Quando si utilizza AWS KMS, vengono addebitati costi per l'archiviazione e l'uso delle chiavi di crittografia. Per ulteriori informazioni, consultare AWS KMS Prezzi.

Crittografia lato server di Amazon S3

Quando configuri la crittografia lato server Amazon S3, Amazon S3 esegue la crittografia dei dati a livello di oggetto, tramite la scrittura dei dati su disco, e ne esegue la decrittografia al momento dell'accesso. Per ulteriori informazioniSSE, consulta la sezione Protezione dei dati utilizzando la crittografia lato server nella Guida per l'utente di Amazon Simple Storage Service.

Puoi scegliere tra due diversi sistemi di gestione delle chiavi quando lo specifichi SSE in AmazonEMR:

  • SSE-S3 — Amazon S3 gestisce le chiavi per te.

  • SSE- KMS — Usi un AWS KMS key per configurare politiche adatte ad AmazonEMR. Per ulteriori informazioni sui requisiti chiave per AmazonEMR, consulta Using AWS KMS keys for encryption.

SSEcon chiavi fornite dal cliente (SSE-C) non è disponibile per l'uso con Amazon. EMR

Crittografia lato client Amazon S3

Con la crittografia lato client di Amazon S3, la crittografia e la decrittografia di Amazon S3 avvengono nel client del cluster. EMRFS Gli oggetti vengono crittografati prima di essere caricati su Amazon S3 e decrittati dopo il loro download. Il provider specificato fornisce la chiave di crittografia utilizzata dal client. Il client può utilizzare le chiavi fornite da AWS KMS (CSE-KMS) o una classe Java personalizzata che fornisce la chiave radice sul lato client (-C). CSE Le specifiche di crittografia sono leggermente diverse tra CSE - KMS e CSE -C, a seconda del provider specificato e dei metadati dell'oggetto da decrittografare o crittografare. Per ulteriori informazioni su queste differenze, consulta Protezione dei dati tramite la crittografia lato client nella Guida per l'utente di Amazon Simple Storage Service.

Nota

Amazon S3 garantisce CSE solo che EMRFS i dati scambiati con Amazon S3 siano crittografati; non tutti i dati sui volumi delle istanze del cluster sono crittografati. Inoltre, poiché Hue non utilizzaEMRFS, gli oggetti che Hue S3 File Browser scrive su Amazon S3 non sono crittografati.

Crittografia a riposo per i dati in Amazon EMR WAL

Quando configuri la crittografia lato server (SSE) per la registrazione write-ahead ()WAL, Amazon EMR crittografa i dati inattivi. Puoi scegliere tra due diversi sistemi di gestione delle chiavi quando lo specifichi SSE in AmazonEMR:

SSE-EMR-WAL

Amazon EMR gestisce le chiavi per te. Per impostazione predefinita, Amazon EMR crittografa i dati archiviati in Amazon EMR WAL con SSE-EMR-WAL.

SSE-KMS-WAL

Utilizzi una AWS KMS chiave per configurare le politiche applicabili ad Amazon EMRWAL. Per ulteriori informazioni sui requisiti chiave per AmazonEMR, consultaUtilizzo AWS KMS keys per la crittografia.

Non puoi usare la tua chiave con SSE quando abiliti WAL con AmazonEMR. Per ulteriori informazioni, consulta Write-ahead logs () WAL for Amazon. EMR

Crittografia del disco locale

I seguenti meccanismi interagiscono per crittografare i dischi locali quando abiliti la crittografia del disco locale utilizzando una configurazione di EMR sicurezza Amazon.

Crittografia open source HDFS

HDFSscambia dati tra istanze del cluster durante l'elaborazione distribuita. Inoltre, legge e scrive dati sui volumi di archiviazione delle istanze e sui EBS volumi collegati alle istanze. Le seguenti opzioni di crittografia Hadoop open source sono attivate quando abiliti la crittografia per dischi locali:

Nota

Puoi attivare una crittografia Apache Hadoop supplementare abilitando la crittografia in transito. Per ulteriori informazioni, consulta Crittografia in transito. Queste impostazioni di crittografia non attivano la crittografia HDFS trasparente, che può essere configurata manualmente. Per ulteriori informazioni, consulta la sezione Transparent encryption in HDFS on Amazon EMR nella Amazon EMR Release Guide.

Crittografia dell'archivio istanza

Per i tipi di EC2 istanze che utilizzano NVMe based SSDs come volume di archiviazione delle istanze, NVMe la crittografia viene utilizzata indipendentemente dalle impostazioni di EMR crittografia di Amazon. Per ulteriori informazioni, consulta NVMeSSDi volumi nella Amazon EC2 User Guide. Per altri volumi di instance store, Amazon EMR lo utilizza LUKS per crittografare il volume dell'Instance Store quando la crittografia del disco locale è abilitata indipendentemente dal fatto che EBS i volumi siano crittografati utilizzando EBS la crittografia oLUKS.

EBScrittografia dei volumi

Se crei un cluster in una regione in cui la EC2 crittografia dei EBS volumi Amazon è abilitata per impostazione predefinita per il tuo account, EBS i volumi vengono crittografati anche se la crittografia locale del disco non è abilitata. Per ulteriori informazioni, consulta Encryption by default nella Amazon EC2 User Guide. Con la crittografia locale del disco abilitata in una configurazione di sicurezza, le EMR impostazioni di Amazon hanno la precedenza sulle EC2 encryption-by-default impostazioni di Amazon per le EC2 istanze di cluster.

Sono disponibili le seguenti opzioni per crittografare i EBS volumi utilizzando una configurazione di sicurezza:

  • EBScrittografia: a partire dalla EMR versione Amazon 5.24.0, puoi scegliere di abilitare EBS la crittografia. L'opzione di EBS crittografia crittografa il volume del dispositivo EBS principale e i volumi di archiviazione collegati. L'opzione di EBS crittografia è disponibile solo se si specifica AWS Key Management Service come fornitore di chiavi. Si consiglia di utilizzare EBS la crittografia.

  • LUKScrittografia: se scegli di utilizzare la LUKS crittografia per EBS i volumi Amazon, la LUKS crittografia si applica solo ai volumi di storage collegati, non al volume del dispositivo root. Per ulteriori informazioni sulla LUKS crittografia, consulta le specifiche LUKS su disco.

    Per il tuo fornitore di chiavi, puoi configurare una AWS KMS key con policy adatte ad Amazon EMR o una classe Java personalizzata che fornisca gli artefatti di crittografia. In caso di utilizzo AWS KMS, vengono addebitati costi per l'archiviazione e l'uso delle chiavi di crittografia. Per ulteriori informazioni, consulta Prezzi di AWS KMS.

Nota

Per verificare se EBS la crittografia è abilitata sul cluster, si consiglia di utilizzare DescribeVolumes API call. Per ulteriori informazioni, vedere DescribeVolumes. L'esecuzione lsblk sul cluster controllerà solo lo stato della LUKS crittografia, anziché della EBS crittografia.

Crittografia in transito

Diversi meccanismi di crittografia sono abilitati con la crittografia in transito. Si tratta di funzionalità open source, sono specifiche dell'applicazione e possono variare in base alla versione di Amazon. EMR Le seguenti caratteristiche di crittografia specifiche dell'applicazione possono essere abilitate utilizzando le configurazioni dell'applicazione Apache. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.

Hadoop
HBase
Hive
  • JDBC/la comunicazione ODBC client con HiveServer 2 (HS2) viene crittografata utilizzando SSL le configurazioni nelle EMR versioni di Amazon 6.9.0 e successive.

  • Per ulteriori informazioni, consulta la sezione sulla SSLcrittografia della documentazione di Apache Hive.

Spark
  • RPCLa comunicazione interna tra i componenti Spark, come il servizio di trasferimento a blocchi e il servizio shuffle esterno, è crittografata utilizzando il AES codice -256 nelle versioni Amazon 5.9.0 e successive. EMR Nelle versioni precedenti, la RPC comunicazione interna veniva crittografata utilizzando - come codice. SASL DIGEST MD5

  • HTTPla comunicazione di protocollo con interfacce utente come Spark History Server e file server HTTPS abilitati viene crittografata utilizzando la configurazione di Spark. SSL Per maggiori informazioni, consulta la SSLconfigurazione nella documentazione di Spark.

  • Per ulteriori informazioni, consulta la sezione Spark release notes (Note di rilascio di Spark) nella documentazione di Apache Spark.

Tez
Presto
  • La comunicazione interna tra i nodi Presto utilizzaSSL/TLS(solo Amazon EMR versione 5.6.0 e successive).

Puoi specificare gli artifact di crittografia utilizzati per la crittografia di dati in transito in due modi: fornendo un file zippato di certificati che hai caricato in Amazon S3 oppure facendo riferimento a una classe Java personalizzata che fornisce artifact di crittografia. Per ulteriori informazioni, consulta Fornitura di certificati per crittografare i dati in transito con la crittografia Amazon EMR.