Uso de las propiedades de Spark para especificar una configuración personalizada - Amazon Athena
Uso de la consola de AthenaUso de la AWS CLI o la API de Athena

Uso de las propiedades de Spark para especificar una configuración personalizada

Al crear o editar una sesión en Amazon Athena para Apache Spark, puede usar las propiedades de Spark a fin de especificar los archivos .jar, los paquetes u otra configuración personalizada para la sesión. Para especificar las propiedades de Spark, puede usar la consola, la AWS CLI o la API de Athena.

Uso de la consola de Athena para especificar propiedades de Spark

En la consola de Athena, puede especificar sus propiedades de Spark al crear un cuaderno o editar una sesión actual.

Para agregar propiedades en el cuadro de diálogo Crear cuaderno o Editar detalles de la sesión

  1. Amplíe Propiedades de Spark.

  2. Para agregar sus propiedades, use la opción Editar en la tabla o Editar en JSON.

    • Para la opción Editar en la tabla, seleccione Agregar propiedad si desea agregar una propiedad o Eliminar si desea eliminar una propiedad. Utilice los cuadros Clave y Valor para introducir los nombres de las propiedades y sus valores.

      • Para agregar un archivo .jar personalizado, utilice la propiedad spark.jars.

      • Utilice la propiedad spark.jars.packages para especificar un archivo de paquete.

    • Para introducir y editar la configuración directamente, elija la opción Editar en JSON. En el editor de texto JSON, puede llevar a cabo las siguientes tareas:

      • Seleccione Copiar para copiar el texto JSON en el portapapeles.

      • Seleccione Borrar para eliminar todo el texto del editor JSON.

      • Elija el icono de ajustes (engranaje) a fin de configurar el ajuste de líneas o seleccionar un tema de color para el editor JSON.

Notas

  • Puede configurar las propiedades en Athena para Spark, que es lo mismo que configurar las propiedades de Spark directamente en un objeto SparkConf.

  • Inicie todas las propiedades de Spark con el prefijo spark.. Se ignoran las propiedades con otros prefijos.

  • No todas las propiedades de Spark están disponibles para la configuración personalizada en Athena. Si envía una solicitud StartSession que tiene una configuración restringida, la sesión no podrá iniciarse.

    • No puede usar el prefijo spark.athena. porque está reservado.

Uso de la AWS CLI o la API de Athena para proporcionar una configuración personalizada

Para utilizar la AWS CLI o la API de Athena a fin de proporcionar la configuración de la sesión, utilice la acción de la API StartSession o el comando de la CLI start-session. En la solicitud StartSession, utilice el campo SparkProperties del objeto EngineConfiguration para pasar la información de configuración en formato JSON. Esto inicia una sesión con la configuración especificada. Para ver la sintaxis de la solicitud, consulte StartSession en la Referencia de la API de Amazon Athena.