Uso de configuraciones de Spark al ejecutar trabajos de EMR sin servidor

Puede ejecutar trabajos de Spark en una aplicación con el parámetro type establecido en SPARK. Los trabajos deben ser compatibles con la versión de Spark compatible con la versión de lanzamiento de Amazon EMR. Por ejemplo, cuando ejecuta trabajos en una aplicación con la versión 6.6.0 de Amazon EMR, su trabajo debe ser compatible con Apache Spark 3.2.0. Para obtener información sobre las versiones de la aplicación para cada versión, consulte Versiones lanzamiento de Amazon EMR sin servidor.

Parámetros de trabajos de Spark

Al utilizar la API StartJobRun para ejecutar un trabajo de Spark, debe especificar los siguientes parámetros.

Rol de tiempo de ejecución de trabajos de Spark

Utilice executionRoleArn para especificar el ARN del rol de IAM que la aplicación utiliza para ejecutar los trabajos de Spark. Este rol debe tener los siguientes permisos:

Si su trabajo de Spark lee o escribe datos en –o desde– otras fuentes de datos, especifique los permisos adecuados en este rol de IAM. Si no proporciona estos permisos al rol de IAM, es posible que el trabajo no funcione. Para obtener más información, consulte Roles en tiempo de ejecución de trabajo para Amazon EMR sin servidor y Almacenamiento de registros.

Parámetro del controlador de trabajos de Spark

Utilice jobDriver para proporcionar datos al trabajo. El parámetro del controlador de trabajo solo acepta un valor para el tipo de trabajo que desee ejecutar. Para un trabajo de Spark, el valor del parámetro es sparkSubmit. Puede usar este tipo de trabajo para ejecutar Scala, Java, PySpark, SparkR y cualquier otro trabajo compatible mediante Spark-submit. Los trabajos de Spark tienen los parámetros siguientes:

Para obtener más información, consulte Launching Applications with spark-submit.

Parámetro de anulación de configuración de Spark

Utilice configurationOverrides para anular las propiedades de configuración a nivel de monitorización y de aplicación. Este parámetro acepta un objeto JSON con los dos campos siguientes:

Si usa la misma configuración en una anulación de aplicación y en los parámetros de envío de Spark, los parámetros de envío de Spark tendrán prioridad. Las configuraciones se clasifican según prioridad de la siguiente manera, de mayor a menor:

Para obtener más información sobre la declaración de configuraciones a nivel de aplicación y la anulación de las configuraciones durante la ejecución de un trabajo, consulte Configuración predeterminada de aplicación para EMR sin servidor.

Optimización de asignación de recursos dinámicos de Spark

Utilice dynamicAllocationOptimization para optimizar el uso de recursos en EMR sin servidor. Al establecer esta propiedad true en la clasificación de configuración de Spark, EMR sin servidor debe optimizar la asignación de recursos de los ejecutores para alinear mejor la velocidad a la que Spark solicita y cancela ejecutores con la velocidad a la que EMR sin servidor crea y libera trabajadores. Al hacerlo, EMR sin servidor reutiliza de manera más óptima a los trabajadores en todas las etapas, lo que reduce los costes al ejecutar trabajos con varias etapas y, al mismo tiempo, mantiene el mismo rendimiento.

Esta propiedad está disponible en todas las versiones de lanzamiento de Amazon EMR.

A continuación se muestra una clasificación de configuración de ejemplo con dynamicAllocationOptimization.

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

Tenga en cuenta lo siguiente si utiliza la optimización de asignación dinámica:

Propiedades de trabajo de Spark

La siguiente tabla enumera las propiedades opcionales de Spark y sus valores predeterminados que puede anular al enviar un trabajo de Spark.

En la tabla siguiente se enumeran los parámetros de envío predeterminados de Spark.

Ejemplos de Spark

El siguiente ejemplo muestra cómo utilizar la API StartJobRun para ejecutar un script de Python. Para obtener un tutorial integral en el que se utiliza este ejemplo, consulte Introducción a Amazon EMR sin servidor. Puede encontrar ejemplos adicionales de cómo ejecutar trabajos de PySpark y agregar dependencias de Python en el repositorio GitHub de Ejemplos de EMR sin servidor.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

El siguiente ejemplo muestra cómo utilizar la API StartJobRun para ejecutar un JAR de Spark.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'