Habilitación del cifrado de Apache Spark - Amazon Athena

Habilitación del cifrado de Apache Spark

Puede habilitar el cifrado de Apache Spark en Athena. Al hacerlo, se cifran los datos en tránsito entre los nodos de Spark y también se cifran los datos en reposo que Spark almacena de manera local. Para mejorar la seguridad de estos datos, Athena utiliza la siguiente configuración de cifrado:

spark.io.encryption.keySizeBits="256" 
spark.io.encryption.keygen.algorithm="HmacSHA384"

Para habilitar el cifrado de Spark, puede usar la consola, la AWS CLI o la API de Athena.

Para crear un cuaderno nuevo con el cifrado de Spark habilitado

  1. Abra la consola de Athena en https://console.aws.amazon.com/athena/.

  2. Si el panel de navegación de la consola no está visible, elija el menú de expansión de la izquierda.

  3. Realice una de las siguientes acciones siguientes:

    • En Notebook explorer (Explorador de cuadernos), elija Create notebook (Crear cuaderno).

    • En Notebook editor (Editor de cuadernos), elija Create notebook (Crear cuaderno) o elija el icono con el signo más (+) para agregar un cuaderno.

  4. En Nombre del cuaderno, ingrese un nombre para el cuaderno.

  5. Amplíe la opción Propiedades de Spark.

  6. Seleccione Activar el cifrado de Spark.

  7. Seleccione Crear.

La sesión del cuaderno que cree estará cifrada. Use el nuevo cuaderno como lo haría normalmente. Cuando más adelante inicie nuevas sesiones que usen el cuaderno, las nuevas sesiones también estarán cifradas.

También puede utilizar la consola de Athena para habilitar el cifrado de Spark en un cuaderno existente.

Para habilitar el cifrado en un cuaderno existente

  1. Abra una nueva sesión para un cuaderno ya creado.

  2. En el editor de cuadernos, en el menú Session (Sesión) de la esquina superior derecha, elija Edit session (Editar sesión).

  3. En el cuadro de diálogo Editar detalles de la sesión, amplíe Propiedades de Spark.

  4. Seleccione Activar el cifrado de Spark.

  5. Seleccione Guardar.

La consola inicia una nueva sesión con el cifrado habilitado. Las sesiones posteriores que cree para este cuaderno también tendrán el cifrado habilitado.

Puede usar la AWS CLI para habilitar el cifrado al iniciar una sesión mediante la especificación de las propiedades de Spark correspondientes.

Para usar la AWS CLI a fin de habilitar el cifrado de Spark

  1. Use un comando como el siguiente para crear un objeto JSON de configuración del motor que especifique las propiedades de cifrado de Spark.

    ENGINE_CONFIGURATION_JSON=$( 
  cat <<EOF 
{ 
    "CoordinatorDpuSize": 1, 
    "MaxConcurrentDpus": 20, 
    "DefaultExecutorDpuSize": 1, 
    "SparkProperties": { 
      "spark.authenticate": "true", 
      "spark.io.encryption.enabled": "true", 
      "spark.network.crypto.enabled": "true" 
    } 
} 
EOF 
)

  2. En la AWS CLI, use el comando athena start-session y pase el objeto JSON que creó al argumento --engine-configuration, como en el siguiente ejemplo:

    aws athena start-session \ 
   --region "region" \ 
   --work-group "your-work-group" \ 
   --engine-configuration "$ENGINE_CONFIGURATION_JSON"

Para habilitar el cifrado de Spark con la API de Athena, use la acción StartSession y el parámetro EngineConfiguration de SparkProperties a fin de especificar la configuración de cifrado en su solicitud StartSession.