Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Empleos en Spark

Puedes ejecutar trabajos de Spark en una aplicación con el type parámetro establecido enSPARK. Los trabajos deben ser compatibles con la versión de Spark compatible con la versión de EMR lanzamiento de Amazon. Por ejemplo, cuando ejecutas trabajos con la EMR versión 6.6.0 de Amazon, tu trabajo debe ser compatible con Apache Spark 3.2.0. Para obtener información sobre las versiones de la aplicación para cada versión, consulte. Versiones de lanzamiento de Amazon EMR Serverless

Parámetros de trabajo de Spark

Cuando utilizas el StartJobRunAPIpara ejecutar un trabajo de Spark, puedes especificar los siguientes parámetros.

Función de ejecución de trabajos de Spark

executionRoleArnUtilízalo ARN para especificar el IAM rol que usa tu aplicación para ejecutar los trabajos de Spark. Este rol debe contener los siguientes permisos:

Si tu trabajo de Spark lee o escribe datos en o desde otras fuentes de datos, especifica los permisos adecuados en esta IAM función. Si no le otorgas estos permisos al IAM rol, es posible que el trabajo no se ejecute correctamente. Para obtener más información, consulte Funciones de tiempo de ejecución de trabajos para Amazon EMR Serverless y Almacenar registros.

Parámetro del controlador de tareas de Spark

Se utiliza jobDriverpara proporcionar información al trabajo. El parámetro del controlador de tareas solo acepta un valor para el tipo de trabajo que desee ejecutar. Para un trabajo de Spark, el valor del parámetro essparkSubmit. Puedes usar este tipo de trabajo para ejecutar Scala, Java PySpark, SparkR y cualquier otro trabajo compatible a través de Spark submit. Los trabajos de Spark tienen los siguientes parámetros:

Para obtener más información, consulte Launching Applications with spark-submit.

Parámetro de anulación de la configuración de Spark

Se utiliza configurationOverridespara anular las propiedades de configuración a nivel de supervisión y de aplicación. Este parámetro acepta un JSON objeto con los dos campos siguientes:

Si utilizas la misma configuración en la anulación de una aplicación y en los parámetros de envío de Spark, los parámetros de envío de Spark tienen prioridad. El orden de prioridad de las configuraciones es el siguiente, de mayor a menor:

Para obtener más información sobre la declaración de configuraciones a nivel de aplicación y la anulación de las configuraciones durante la ejecución de un trabajo, consulteConfiguración de aplicaciones predeterminada para Serverless EMR.

Impulse la optimización dinámica de la asignación de recursos

Se utiliza dynamicAllocationOptimization para optimizar el uso de los recursos en EMR Serverless. Al establecer esta propiedad true en la clasificación de configuración de Spark, EMR Serverless debe optimizar la asignación de recursos de los ejecutores para alinear mejor la velocidad a la que Spark solicita y cancela ejecutores con la velocidad a la que EMR Serverless crea y libera trabajadores. De este modo, EMR Serverless reutiliza a los trabajadores de forma más óptima en todas las etapas, lo que reduce los costes al ejecutar tareas con varias etapas y, al mismo tiempo, mantener el mismo rendimiento.

Esta propiedad está disponible en todas las EMR versiones de Amazon.

El siguiente es un ejemplo de clasificación de configuraciones condynamicAllocationOptimization.

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

Tenga en cuenta lo siguiente si utiliza la optimización de asignación dinámica:

Impulse las propiedades de los puestos

La siguiente tabla muestra las propiedades opcionales de Spark y sus valores predeterminados que puedes anular al enviar un trabajo de Spark.

La siguiente tabla muestra los parámetros de envío predeterminados de Spark.

Ejemplos de Spark

El siguiente ejemplo muestra cómo utilizar el StartJobRun API para ejecutar un script de Python. Para ver un end-to-end tutorial en el que se utiliza este ejemplo, consulteIntroducción a Amazon EMR Serverless. Puedes encontrar ejemplos adicionales de cómo ejecutar PySpark trabajos y añadir dependencias de Python en el repositorio EMRServerless Samples GitHub .

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

En el siguiente ejemplo, se muestra cómo utilizar el StartJobRun API para ejecutar un Spark. JAR

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'