As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usando as configurações do Spark ao executar trabalhos sem servidor EMR

Você pode executar trabalhos do Spark em uma aplicação com o parâmetro type definido como SPARK. Os trabalhos devem ser compatíveis com a versão do Spark compatível com a versão de EMR lançamento da Amazon. Por exemplo, quando você executa trabalhos com a EMR versão 6.6.0 da Amazon, seu trabalho deve ser compatível com o Apache Spark 3.2.0. Para obter informações sobre as versões da aplicação para cada versão, consulte Versões de EMR lançamento do Amazon Serverless.

Parâmetros do trabalho do Spark

Ao usar o StartJobRunAPIpara executar uma tarefa do Spark, você pode especificar os seguintes parâmetros.

Perfil de runtime de trabalhos do Spark

Use executionRoleArnpara especificar a ARN IAM função que seu aplicativo usa para executar trabalhos do Spark. Esse perfil deve conter as seguintes permissões:

Se seu trabalho do Spark ler ou gravar dados em ou de outras fontes de dados, especifique as permissões apropriadas nessa IAM função. Se você não fornecer essas permissões para a IAM função, o trabalho poderá falhar. Para ter mais informações, consulte Funções de tempo de execução de trabalho para Amazon EMR Serverless e Armazenamento de logs.

Parâmetro do driver de trabalhos do Spark

Use jobDriver para fornecer entradas ao trabalho. O parâmetro do driver do trabalho aceita somente um valor para o tipo de trabalho que você deseja executar. Para um trabalho do Spark, o valor do parâmetro é sparkSubmit. Você pode usar esse tipo de tarefa para executar Scala, Java PySpark, SparkR e qualquer outra tarefa compatível por meio do envio do Spark. Os trabalhos do Spark têm os seguintes parâmetros:

Para obter informações adicionais, consulte Launching Applications with spark-submit.

Parâmetro de substituição de configuração do Spark

Use configurationOverrides para substituir as propriedades de configuração no nível de monitoramento e no nível de aplicação. Esse parâmetro aceita um JSON objeto com os dois campos a seguir:

Se você usar a mesma configuração em uma substituição de aplicação e nos parâmetros de envio do Spark, os parâmetros de envio do Spark terão prioridade. As configurações são classificadas em prioridade da seguinte forma, da mais alta para a mais baixa:

Para obter mais informações sobre como declarar configurações no nível da aplicação e substituir configurações durante a execução do trabalho, consulte Configuração padrão do aplicativo para EMR Serverless.

Otimização dinâmica da alocação de recursos do Spark

Use dynamicAllocationOptimization para otimizar o uso de recursos no EMR Serverless. Definir essa propriedade como true em sua classificação de configuração do Spark indica que o EMR Serverless otimizará a alocação de recursos do executor para melhor alinhar a taxa na qual o Spark solicita e cancela os executores com a taxa na qual o Serverless cria e libera trabalhadores. EMR Ao fazer isso, o EMR Serverless reutiliza de forma mais otimizada os trabalhadores em todos os estágios, resultando em menor custo ao executar trabalhos com vários estágios, mantendo o mesmo desempenho.

Essa propriedade está disponível em todas as versões de EMR lançamento da Amazon.

O exemplo a seguir é de uma classificação de configuração com dynamicAllocationOptimization.

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

Considere o seguinte se estiver usando a otimização de alocação dinâmica:

Propriedades do trabalho do spark

A tabela a seguir lista as propriedades opcionais do Spark e seus valores padrão que você pode substituir ao enviar um trabalho do Spark.

A tabela a seguir lista os parâmetros de envio padrão do Spark.

Exemplos do Spark

O exemplo a seguir mostra como usar o StartJobRun API para executar um script Python. Para obter um end-to-end tutorial que usa esse exemplo, consulteComeçando a usar o Amazon EMR Serverless. Você pode encontrar outros exemplos de como executar PySpark trabalhos e adicionar dependências do Python no repositório EMRServerless Samples. GitHub

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

O exemplo a seguir mostra como usar o StartJobRun API para executar um SparkJAR.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'