Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Stellen bei Spark

Sie können Spark-Jobs in einer Anwendung ausführen, bei der der type Parameter auf gesetzt istSPARK. Jobs müssen mit der Spark-Version kompatibel sein, die mit der EMR Amazon-Release-Version kompatibel ist. Wenn Sie beispielsweise Jobs mit Amazon EMR Release 6.6.0 ausführen, muss Ihr Job mit Apache Spark 3.2.0 kompatibel sein. Informationen zu den Anwendungsversionen der einzelnen Versionen finden Sie unter. Release-Versionen von Amazon EMR Serverless

Spark-Job-Parameter

Wenn Sie den verwenden StartJobRunAPI, um einen Spark-Job auszuführen, können Sie die folgenden Parameter angeben.

Runtime-Rolle für Spark-Jobs

Geben executionRoleArnSie hier die ARN für die IAM Rolle an, die Ihre Anwendung zur Ausführung von Spark-Jobs verwendet. Diese Rolle muss die folgenden Berechtigungen enthalten:

Wenn Ihr Spark-Job Daten in oder aus anderen Datenquellen liest oder schreibt, geben Sie die entsprechenden Berechtigungen in dieser IAM Rolle an. Wenn Sie diese Berechtigungen nicht für die IAM Rolle bereitstellen, schlägt der Job möglicherweise fehl. Weitere Informationen erhalten Sie unter Job-Runtime-Rollen für Amazon EMR Serverless und Speichern von Protokollen.

Treiberparameter für Spark-Jobs

Wird verwendet jobDriver, um Eingaben für den Job bereitzustellen. Der Job-Treiber-Parameter akzeptiert nur einen Wert für den Auftragstyp, den Sie ausführen möchten. Für einen Spark-Job lautet der ParameterwertsparkSubmit. Sie können diesen Jobtyp verwenden, um Scala, Java PySpark, SparkR und alle anderen unterstützten Jobs über Spark Submit auszuführen. Spark-Jobs haben die folgenden Parameter:

Weitere Informationen finden Sie unter Starten von Anwendungen mit Spark-Submit.

Parameter zur Überschreibung der Spark-Konfiguration

Wird verwendet configurationOverrides, um die Konfigurationseigenschaften auf Überwachungs- und Anwendungsebene zu überschreiben. Dieser Parameter akzeptiert ein JSON Objekt mit den folgenden zwei Feldern:

Wenn Sie dieselbe Konfiguration in einer Anwendungsüberschreibung und in Spark-Übergabeparametern verwenden, haben die Spark-Submit-Parameter Priorität. Konfigurationen haben folgende Priorität, von der höchsten zur niedrigsten:

Weitere Informationen zum Deklarieren von Konfigurationen auf Anwendungsebene und zum Überschreiben von Konfigurationen während der Jobausführung finden Sie unter. Standardanwendungskonfiguration für Serverless EMR

Optimierung der dynamischen Ressourcenzuweisung in Spark

Wird verwendetdynamicAllocationOptimization, um die Ressourcennutzung in EMR Serverless zu optimieren. Wenn Sie diese Eigenschaft true in Ihrer Spark-Konfigurationsklassifizierung auf setzen, bedeutet das, dass EMR Serverless die Ressourcenzuweisung für Executoren optimiert, um die Geschwindigkeit, mit der Spark Executoren anfordert und storniert, besser an die Rate anzupassen, mit der Serverless Worker erstellt und freigibt. EMR Dadurch werden Workers bei EMR Serverless stufenübergreifend optimaler wiederverwendet, was zu niedrigeren Kosten führt, wenn Jobs mit mehreren Stufen ausgeführt werden, während die gleiche Leistung beibehalten wird.

Diese Eigenschaft ist in allen EMR Amazon-Release-Versionen verfügbar.

Im Folgenden finden Sie ein Beispiel für eine Konfigurationsklassifizierung mitdynamicAllocationOptimization.

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

Beachten Sie Folgendes, wenn Sie die dynamische Allokationsoptimierung verwenden:

Eigenschaften von Spark-Jobs

In der folgenden Tabelle sind optionale Spark-Eigenschaften und ihre Standardwerte aufgeführt, die Sie überschreiben können, wenn Sie einen Spark-Job einreichen.

In der folgenden Tabelle sind die Standard-Submit-Parameter von Spark aufgeführt.

Spark-Beispiele

Das folgende Beispiel zeigt, wie Sie mit dem StartJobRun API ein Python-Skript ausführen können. Ein end-to-end Tutorial, das dieses Beispiel verwendet, finden Sie unterErste Schritte mit Amazon EMR Serverless. Weitere Beispiele für die Ausführung von PySpark Jobs und das Hinzufügen von Python-Abhängigkeiten finden Sie im EMRServerless GitHub Samples-Repository.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

Das folgende Beispiel zeigt, wie Sie den verwenden, StartJobRun API um einen Spark JAR auszuführen.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'