Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configurer les propriétés d'Apache Log4j2 pour Amazon EMR Serverless

Cette page explique comment configurer les propriétés personnalisées d'Apache Log4j 2.x pour les tâches EMR Serverless à l'adresse. StartJobRun Si vous souhaitez configurer les classifications Log4j au niveau de l'application, reportez-vous à. Configuration d'application par défaut pour EMR Serverless

Configurer les propriétés de Spark Log4j2 pour Amazon EMR Serverless

Avec les versions 6.8.0 et supérieures d'Amazon EMR, vous pouvez personnaliser les propriétés d'Apache Log4j 2.x pour spécifier des configurations de journalisation précises. Cela simplifie le dépannage de vos tâches Spark sur EMR Serverless. Pour configurer ces propriétés, utilisez les spark-executor-log4j2 classifications spark-driver-log4j2 et.

Classifications Log4j2 pour Spark

Pour personnaliser les configurations du journal Spark, utilisez les classifications suivantes avec applicationConfiguration. Pour configurer les propriétés de Log4j 2.x, utilisez ce qui suit. properties

Exemple de configuration Log4j2 pour Spark

L'exemple suivant montre comment soumettre une tâche Spark afin de personnaliser les applicationConfiguration configurations Log4j2 pour le pilote et l'exécuteur Spark.

Pour configurer les classifications Log4j au niveau de l'application plutôt que lorsque vous soumettez la tâche, reportez-vous à. Configuration d'application par défaut pour EMR Serverless

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'
    --configuration-overrides '{
        "applicationConfiguration": [
             {
                "classification": "spark-driver-log4j2",
                "properties": {
                    "rootLogger.level":"error", // will only display Spark error logs
                    "logger.IdentifierForClass.name": "classpath for setting logger",
                    "logger.IdentifierForClass.level": "info"
                   
                }
            },
            {
                "classification": "spark-executor-log4j2",
                "properties": {
                    "rootLogger.level":"error", // will only display Spark error logs
                    "logger.IdentifierForClass.name": "classpath for setting logger",
                    "logger.IdentifierForClass.level": "info"
                }
            }
       ]
    }'

Log4j2 dans des exemples de jobs Spark

Les exemples de code suivants montrent comment créer une application Spark pendant que vous initialisez une configuration Log4j2 personnalisée pour l'application.

Python

Exemple- Utilisation de Log4j2 pour une tâche Spark avec Python

import os
import sys

from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession

app_name = "PySparkApp"
if __name__ == "__main__":
    spark = SparkSession\
        .builder\
        .appName(app_name)\
        .getOrCreate()
    
    spark.sparkContext._conf.getAll()
    sc = spark.sparkContext
    log4jLogger = sc._jvm.org.apache.log4j
    LOGGER = log4jLogger.LogManager.getLogger(app_name)

    LOGGER.info("pyspark script logger info")
    LOGGER.warn("pyspark script logger warn")
    LOGGER.error("pyspark script logger error")
    
    // your code here
    
    spark.stop()

Pour personnaliser Log4j2 pour le pilote lorsque vous exécutez une tâche Spark, utilisez la configuration suivante :

{
   "classification": "spark-driver-log4j2",
      "properties": {
          "rootLogger.level":"error", // only display Spark error logs
          "logger.PySparkApp.level": "info", 
          "logger.PySparkApp.name": "PySparkApp"
      }
}

Scala

Exemple- Utilisation de Log4j2 pour une tâche Spark avec Scala

import org.apache.log4j.Logger
import org.apache.spark.sql.SparkSession

object ExampleClass {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession
    .builder
    .appName(this.getClass.getName)
    .getOrCreate()

    val logger = Logger.getLogger(this.getClass);
    logger.info("script logging info logs")
    logger.warn("script logging warn logs")
    logger.error("script logging error logs")

// your code here
    spark.stop()
  }
}

Pour personnaliser Log4j2 pour le pilote lorsque vous exécutez une tâche Spark, utilisez la configuration suivante :

{
   "classification": "spark-driver-log4j2",
      "properties": {
          "rootLogger.level":"error", // only display Spark error logs
          "logger.ExampleClass.level": "info", 
          "logger.ExampleClass.name": "ExampleClass"
      }
}

Considérations relatives à Log4j2 pour Spark

Les Log4j2.x propriétés suivantes ne sont pas configurables pour les processus Spark :

Pour obtenir des informations détaillées sur les Log4j2.x propriétés à configurer, reportez-vous au log4j2.properties.template fichier sur GitHub.