Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Offerte di lavoro Spark

È possibile eseguire i job Spark su un'applicazione con il type parametro impostato su. SPARK I lavori devono essere compatibili con la versione Spark compatibile con la versione di EMR rilascio di Amazon. Ad esempio, quando esegui lavori con Amazon EMR release 6.6.0, il tuo lavoro deve essere compatibile con Apache Spark 3.2.0. Per informazioni sulle versioni delle applicazioni per ogni versione, consulta. Versioni di rilascio di Amazon EMR Serverless

Parametri del job Spark

Quando si utilizza il StartJobRunAPIper eseguire un job Spark, è possibile specificare i seguenti parametri.

Ruolo di runtime del job Spark

executionRoleArnUtilizzalo ARN per specificare il IAM ruolo utilizzato dall'applicazione per eseguire i job Spark. Questo ruolo deve contenere le seguenti autorizzazioni:

Se il tuo job Spark legge o scrive dati da o verso altre fonti di dati, specifica le autorizzazioni appropriate per questo ruolo. IAM Se non fornisci queste autorizzazioni al IAM ruolo, il lavoro potrebbe fallire. Per ulteriori informazioni, consulta Ruoli Job Runtime per Amazon EMR Serverless e Archiviazione dei log.

Parametro Spark Job Driver

jobDriverUtilizzato per fornire input al lavoro. Il parametro job driver accetta solo un valore per il tipo di processo che si desidera eseguire. Per un job Spark, il valore del parametro èsparkSubmit. Puoi usare questo tipo di lavoro per eseguire Scala, Java PySpark, SparkR e qualsiasi altro lavoro supportato tramite Spark submit. I job Spark hanno i seguenti parametri:

Per ulteriori informazioni, consulta Avvio delle applicazioni con spark-submit.

La configurazione di Spark sovrascrive il parametro

Utilizzato configurationOverridesper sovrascrivere le proprietà di configurazione a livello di monitoraggio e a livello di applicazione. Questo parametro accetta un JSON oggetto con i due campi seguenti:

Se usi la stessa configurazione in un'applicazione override e nei parametri di invio di Spark, i parametri di invio di Spark hanno la priorità. Le configurazioni hanno la priorità seguente, dalla più alta alla più bassa:

Per ulteriori informazioni sulla dichiarazione delle configurazioni a livello di applicazione e sulla sovrascrittura delle configurazioni durante l'esecuzione del processo, consulta. Configurazione predefinita dell'applicazione per Serverless EMR

Ottimizzazione dinamica dell'allocazione delle risorse Spark

Utilizzalo dynamicAllocationOptimization per ottimizzare l'utilizzo delle risorse in modalità EMR Serverless. L'impostazione di questa proprietà true nella classificazione della configurazione di Spark indica a EMR Serverless di ottimizzare l'allocazione delle risorse degli esecutori per allineare meglio la velocità con cui Spark richiede e annulla gli esecutori con la velocità con cui Serverless crea e rilascia i lavoratori. EMR In questo modo, EMR Serverless riutilizza in modo più ottimale i lavoratori su più fasi, con conseguente riduzione dei costi di esecuzione di lavori con più fasi mantenendo le stesse prestazioni.

Questa proprietà è disponibile in tutte le versioni di EMR rilascio di Amazon.

Di seguito è riportato un esempio di classificazione della configurazione condynamicAllocationOptimization.

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

Considerate quanto segue se utilizzate l'ottimizzazione dinamica dell'allocazione:

Proprietà del lavoro Spark

La tabella seguente elenca le proprietà Spark opzionali e i relativi valori predefiniti che puoi sostituire quando invii un lavoro Spark.

La tabella seguente elenca i parametri di invio Spark predefiniti.

Esempi Spark

L'esempio seguente mostra come usare StartJobRun API per eseguire uno script Python. Per un end-to-end tutorial che utilizza questo esempio, vediGuida introduttiva ad Amazon EMR Serverless. Puoi trovare altri esempi su come eseguire PySpark lavori e aggiungere dipendenze Python nel repository EMRServerless Samples. GitHub

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

L'esempio seguente mostra come utilizzare per eseguire uno Spark StartJobRunAPI. JAR

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'