Solucione los errores comunes de formato de las variables de entorno - Amazon EMR

Solucione los errores comunes de formato de las variables de entorno

Al introducir las configuraciones de Livy y Spark, hay formatos de variables de entorno que no son compatibles y pueden provocar errores. El procedimiento le guía por una serie de pasos que le ayudan a garantizar que utiliza los formatos correctos.

Introducción de sus propias configuraciones de Livy y Spark durante la instalación de Livy

Puede configurar cualquier variable de entorno de Apache Livy o Apache Spark con la propiedad Helm env.*. Siga los pasos que se indican a continuación para convertir la configuración de ejemplo example.config.with-dash.withUppercase a un formato de variable de entorno compatible.

  1. Sustituya las letras mayúsculas por un 1 y la letra en minúscula. Por ejemplo, example.config.with-dash.withUppercase se convierte en example.config.with-dash.with1uppercase.

  2. Sustituya los guiones (-) por 0. Por ejemplo, example.config.with-dash.with1uppercase se convierte en example.config.with0dash.with1uppercase.

  3. Sustituya los puntos (.) por guiones bajos (_). Por ejemplo, example.config.with0dash.with1uppercase se convierte en example_config_with0dash_with1uppercase.

  4. Sustituya todas las letras minúsculas por letras mayúsculas.

  5. Añada el prefijo LIVY_ al nombre de la variable.

  6. Use la variable mientras instala Livy a través del gráfico de Helm con el formato --set env.YOUR_VARIABLE_NAME.value=yourvalue

Por ejemplo, para establecer las configuraciones de livy.server.recovery.state-store = filesystem y spark.kubernetes.executor.podNamePrefix = my-prefix, use estas propiedades de Helm:

—set env.LIVY_LIVY_SERVER_RECOVERY_STATE0STORE.value=filesystem
—set env.LIVY_SPARK_KUBERNETES_EXECUTOR_POD0NAME0PREFIX.value=myprefix