Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Bûches rotatives
Amazon EMR Serverless peut alterner les journaux d'applications et les journaux d'événements Spark. La rotation des journaux permet de résoudre le problème des tâches de longue durée qui génèrent des fichiers journaux volumineux qui peuvent occuper tout l'espace disque. La rotation des journaux vous permet d'économiser de l'espace de stockage sur disque et de réduire le nombre d'échecs de tâches, car il ne vous reste plus d'espace sur votre disque.
La rotation des journaux est activée par défaut et n'est disponible que pour les tâches Spark.
Journaux d'événements Spark
Note
La rotation du journal des événements Spark est disponible sur toutes les étiquettes EMR de version Amazon.
Au lieu de générer un seul fichier journal des événements, EMR Serverless fait pivoter le journal des événements à intervalles réguliers et supprime les anciens fichiers journaux d'événements. La rotation des journaux n'affecte pas les journaux chargés dans le compartiment S3.
Journaux des applications Spark
Note
La rotation des journaux de l'application Spark est disponible sur toutes les étiquettes EMR de version Amazon.
EMRServerless fait également pivoter les journaux des applications Spark pour les pilotes et les exécuteurs, tels que stdout les fichiers et. stderr Vous pouvez accéder aux derniers fichiers journaux en choisissant les liens des journaux dans Studio à l'aide du serveur d'historique Spark et des liens de l'interface utilisateur Live. Les fichiers journaux sont les versions tronquées des derniers journaux. Pour consulter les anciens journaux soumis à une rotation, vous devez spécifier un emplacement Amazon S3 lors du stockage des journaux. Consultez la section Journalisation EMR sans serveur avec des compartiments Amazon S3 pour plus d'informations.
Vous trouverez les derniers fichiers journaux à l'emplacement suivant. EMRServerless actualise les fichiers toutes les 15 secondes. Ces fichiers peuvent aller de 0 Mo à 128 Mo.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/stderr.gz
L'emplacement suivant contient les anciens fichiers ayant fait l'objet d'une rotation. La taille de chaque fichier est de 128 Mo.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/archived/stderr_<index>.gz
Le même comportement s'applique également aux exécuteurs Spark. Cette modification s'applique uniquement à la journalisation S3. La rotation des journaux n'apporte aucune modification aux flux de journaux chargés sur Amazon CloudWatch.
EMRLes versions 7.1.0 et supérieures sans serveur prennent en charge les nouvelles tentatives pour le streaming et les tâches par lots. Si vous avez activé les nouvelles tentatives pour votre tâche, EMR Serverless ajoute un préfixe au chemin du journal pour ces tâches afin que vous puissiez mieux suivre et distinguer les journaux les uns des autres. Ce chemin contient tous les journaux ayant fait l'objet d'une rotation.
'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'.
