Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de configuraciones de Spark al ejecutar EMR trabajos sin servidor

Puede ejecutar trabajos de Spark en una aplicación con el parámetro type establecido en SPARK. Los trabajos deben ser compatibles con la versión de Spark compatible con la versión de EMR lanzamiento de Amazon. Por ejemplo, cuando ejecutas trabajos con la EMR versión 6.6.0 de Amazon, tu trabajo debe ser compatible con Apache Spark 3.2.0. Para obtener información sobre las versiones de la aplicación para cada versión, consulte Versiones de lanzamiento de Amazon EMR Serverless.

Parámetros de trabajos de Spark

Cuando utilizas el StartJobRunAPIpara ejecutar un trabajo de Spark, puedes especificar los siguientes parámetros.

Rol de tiempo de ejecución de trabajos de Spark

executionRoleArnUtilízalo ARN para especificar el IAM rol que usa tu aplicación para ejecutar los trabajos de Spark. Este rol debe tener los siguientes permisos:

Si tu trabajo de Spark lee o escribe datos en o desde otras fuentes de datos, especifica los permisos adecuados en esta IAM función. Si no le otorgas estos permisos al IAM rol, es posible que el trabajo no funcione. Para obtener más información, consulte Funciones de tiempo de ejecución de trabajos para Amazon EMR Serverless y Almacenamiento de registros.

Parámetro del controlador de trabajos de Spark

Utilice jobDriver para proporcionar datos al trabajo. El parámetro del controlador de trabajo solo acepta un valor para el tipo de trabajo que desee ejecutar. Para un trabajo de Spark, el valor del parámetro es sparkSubmit. Puedes usar este tipo de trabajo para ejecutar Scala, Java PySpark, SparkR y cualquier otro trabajo compatible a través de Spark submit. Los trabajos de Spark tienen los parámetros siguientes:

Para obtener más información, consulte Launching Applications with spark-submit.

Parámetro de anulación de configuración de Spark

Utilice configurationOverrides para anular las propiedades de configuración a nivel de monitorización y de aplicación. Este parámetro acepta un JSON objeto con los dos campos siguientes:

Si usa la misma configuración en una anulación de aplicación y en los parámetros de envío de Spark, los parámetros de envío de Spark tendrán prioridad. Las configuraciones se clasifican según prioridad de la siguiente manera, de mayor a menor:

Para obtener más información sobre la declaración de configuraciones a nivel de aplicación y la anulación de las configuraciones durante la ejecución de un trabajo, consulte Configuración de aplicación predeterminada para Serverless EMR.

Optimización de asignación de recursos dinámicos de Spark

Se utiliza dynamicAllocationOptimization para optimizar el uso de los recursos en EMR Serverless. Al establecer esta propiedad true en la clasificación de configuración de Spark, EMR Serverless debe optimizar la asignación de recursos de los ejecutores para alinear mejor la velocidad a la que Spark solicita y cancela ejecutores con la velocidad a la que EMR Serverless crea y libera trabajadores. De este modo, EMR Serverless reutiliza a los trabajadores de forma más óptima en todas las etapas, lo que reduce los costes al ejecutar tareas con varias etapas y, al mismo tiempo, mantener el mismo rendimiento.

Esta propiedad está disponible en todas las EMR versiones de Amazon.

A continuación se muestra una clasificación de configuración de ejemplo con dynamicAllocationOptimization.

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

Tenga en cuenta lo siguiente si utiliza la optimización de asignación dinámica:

Propiedades de trabajo de Spark

La siguiente tabla enumera las propiedades opcionales de Spark y sus valores predeterminados que puede anular al enviar un trabajo de Spark.

En la tabla siguiente se enumeran los parámetros de envío predeterminados de Spark.

Ejemplos de Spark

El siguiente ejemplo muestra cómo utilizar el StartJobRun API para ejecutar un script de Python. Para ver un end-to-end tutorial que utiliza este ejemplo, consulteIntroducción a Amazon EMR Serverless. Puedes encontrar ejemplos adicionales de cómo ejecutar PySpark trabajos y añadir dependencias de Python en el repositorio EMRServerless Samples GitHub .

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

El siguiente ejemplo muestra cómo usarlo StartJobRun API para ejecutar un Spark. JAR

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'