View a markdown version of this page

Abilitare la crittografia Apache Spark - Amazon Athena

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Abilitare la crittografia Apache Spark

Puoi abilitare la crittografia Apache Spark su Athena. In questo modo si crittografano i dati in transito tra i nodi Spark e si crittografano anche i dati a riposo archiviati localmente da Spark. Per migliorare la sicurezza di questi dati, Athena utilizza la seguente configurazione di crittografia:

spark.io.encryption.keySizeBits="256" 
spark.io.encryption.keygen.algorithm="HmacSHA384"

Per abilitare la crittografia Spark, puoi utilizzare la console Athena AWS CLI, o l'API Athena.

Per creare un nuovo notebook con la crittografia Spark abilitata

  1. Apri la console Athena all'indirizzo https://console.aws.amazon.com/athena/.

  2. Se il pannello di navigazione della console non è visibile, scegli il menu di espansione a sinistra.

  3. Esegui una delle seguenti operazioni:

    • In Notebook explorer, scegli Create notebook (Crea notebook).

    • In Notebook editor (Editor notebook), scegli Create notebook (Crea notebook) oppure seleziona l'icona con il segno più (+) per aggiungere un notebook.

  4. In Nome notebook, inserisci un nome per il notebook.

  5. Espandi l'opzione delle Proprietà Spark.

  6. Seleziona Attiva la crittografia Spark.

  7. Scegli Create (Crea).

La sessione notebook che crei è crittografata. Usa il nuovo notebook come faresti normalmente. Quando in seguito lancerai nuove sessioni che utilizzano il notebook, anche le nuove sessioni verranno crittografate.

Puoi anche utilizzare la console Athena per abilitare la crittografia Spark per un notebook esistente.

Per abilitare la crittografia per un notebook esistente

  1. Apri una nuova sessione per un notebook creato in precedenza.

  2. Nell'editor notebook, nel menu Session (Sessione) in alto a destra, scegli Edit session (Modifica sessione).

  3. Nella finestra di dialogo Modifica i dettagli della sessione, espandi le proprietà Spark.

  4. Seleziona Attiva la crittografia Spark.

  5. Scegli Save (Salva).

La console avvia una nuova sessione con la crittografia abilitata. Anche le sessioni successive create per questo notebook avranno la crittografia abilitata.

Puoi utilizzare AWS CLI per abilitare la crittografia all'avvio di una sessione specificando le proprietà Spark appropriate.

Per utilizzare nuovamente il plugin AWS CLI per abilitare la crittografia Spark

  1. Utilizzate un comando come il seguente per creare un oggetto JSON di configurazione del motore che specifichi le proprietà di crittografia Spark.

    ENGINE_CONFIGURATION_JSON=$( 
  cat <<EOF 
{ 
    "CoordinatorDpuSize": 1, 
    "MaxConcurrentDpus": 20, 
    "DefaultExecutorDpuSize": 1, 
    "SparkProperties": { 
      "spark.authenticate": "true", 
      "spark.io.encryption.enabled": "true", 
      "spark.network.crypto.enabled": "true" 
    } 
} 
EOF 
)

  2. In AWS CLI, usa il athena start-session comando e passa l'oggetto JSON che hai creato all'--engine-configurationargomento, come nell'esempio seguente:

    aws athena start-session \ 
   --region "region" \ 
   --work-group "your-work-group" \ 
   --engine-configuration "$ENGINE_CONFIGURATION_JSON"

Per le sessioni di Apache Spark versione 3.5, è possibile abilitare la crittografia specificando le stesse proprietà di crittografia nell'Classificationselemento della configurazione del motore anziché nell'elemento. SparkProperties Il comportamento di crittografia è identico alle versioni precedenti: Athena crittografa i dati in transito tra i nodi Spark e i dati inattivi archiviati localmente da Spark, utilizzando la crittografia AES a 256 bit con l'algoritmo. HmacSHA384 Usa un comando come il seguente, in cui deve essere inserita la classificazione. Name spark-defaults

aws athena start-session \ 
   --region "region" \ 
   --work-group "your-work-group" \ 
   --engine-configuration '{ 
       "Classifications": [{ 
           "Name": "spark-defaults", 
           "Properties": { 
               "spark.authenticate": "true", 
               "spark.io.encryption.enabled": "true", 
               "spark.network.crypto.enabled": "true" 
           } 
       }] 
   }'

Puoi anche abilitare la crittografia Spark quando crei un gruppo di lavoro. Specificate le stesse proprietà di crittografia EngineConfiguration nell'Classificationselemento della configurazione del gruppo di lavoro, come nell'esempio seguente. Le sessioni avviate successivamente in questo gruppo di lavoro ereditano la configurazione di crittografia.

aws athena create-work-group \ 
   --region "region" \ 
   --name "your-work-group" \ 
   --configuration '{ 
       "EngineVersion": { 
           "SelectedEngineVersion": "Apache Spark version 3.5" 
       }, 
       "ExecutionRole": "execution-role", 
       "EngineConfiguration": { 
           "Classifications": [{ 
               "Name": "spark-defaults", 
               "Properties": { 
                   "spark.authenticate": "true", 
                   "spark.io.encryption.enabled": "true", 
                   "spark.network.crypto.enabled": "true" 
               } 
           }] 
       } 
   }'

Per abilitare la crittografia Spark con l'API Athena, utilizza l'StartSessionazione e il relativo EngineConfiguration SparkProperties parametro per specificare la configurazione di crittografia nella richiesta. StartSession

Per le sessioni di Apache Spark versione 3.5, utilizzate l'StartSessionazione con il EngineConfiguration Classifications parametro, anziché, per specificare le SparkProperties proprietà di crittografia. Il nome della classificazione deve essere. spark-defaults