Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Comprendre le comportement des applications dans EMR Serverless
Cette section décrit le comportement de soumission des tâches, la configuration des capacités pour le dimensionnement et les paramètres de configuration des travailleurs pour EMR Serverless.
Comportement par défaut des applications
Démarrage automatique : une application est configurée par défaut pour démarrer automatiquement lors de la soumission de la tâche. Vous pouvez désactiver cette fonctionnalité.
Arrêt automatique : une application est configurée par défaut pour s'arrêter automatiquement lorsqu'elle est inactive pendant 15 minutes. Lorsqu'une application passe à STOPPED cet état, elle libère toute capacité préinitialisée configurée. Vous pouvez modifier le temps d'inactivité avant l'arrêt automatique d'une application ou désactiver cette fonctionnalité.
Maximum capacity (Capacité maximum)
Vous pouvez configurer la capacité maximale qu'une application peut atteindre. Vous pouvez spécifier votre capacité maximale en termes de processeur, de mémoire (Go) et de disque (Go).
Note
Nous vous recommandons de configurer votre capacité maximale de manière à ce qu'elle soit proportionnelle à la taille des travailleurs pris en charge en multipliant le nombre de travailleurs par leur taille. Par exemple, si vous souhaitez limiter votre application à 50 serveurs dotés de 2 VCPUs, 16 Go de mémoire et 20 Go de disque, définissez votre capacité maximale à 100 VCPUs, 800 Go de mémoire et 1 000 Go de disque.
Configurations de travail supportées
Le tableau suivant indique les configurations de travail prises en charge et les tailles que vous pouvez spécifier pour EMR Serverless. Vous pouvez configurer différentes tailles pour les pilotes et les exécuteurs en fonction des besoins de votre charge de travail.
| CPU | Mémoire | Stockage éphémère par défaut |
|---|---|---|
|
1 vCPU |
Minimum 2 Go, maximum 8 Go, par incréments de 1 Go |
20 GO - 200 GO |
|
2 vCPU |
Minimum 4 Go, maximum 16 Go, par incréments de 1 Go |
20 GO - 200 GO |
|
4 vCPU |
Minimum 8 Go, maximum 30 Go, par incréments de 1 Go |
20 GO - 200 GO |
|
8 vCPU |
16 Go au minimum, 60 Go au maximum, par incréments de 4 Go |
20 GO - 200 GO |
|
16 vCPU |
Minimum 32 Go, maximum 120 Go, par incréments de 8 Go |
20 GO - 200 GO |
Processeur — Chaque travailleur peut avoir 1, 2, 4, 8 ou 16 CPUs v.
Mémoire — Chaque travailleur dispose de mémoire, spécifiée en Go, dans les limites indiquées dans le tableau précédent. Les tâches Spark ont une surcharge de mémoire, ce qui signifie que la mémoire qu'elles utilisent est supérieure aux tailles de conteneur spécifiées. Cette surcharge est spécifiée avec les propriétés spark.driver.memoryOverhead etspark.executor.memoryOverhead. La surcharge a une valeur par défaut de 10 % de la mémoire du conteneur, avec un minimum de 384 Mo. Vous devez tenir compte de ces frais généraux lorsque vous choisissez la taille des travailleurs.
Par exemple, si vous choisissez 4 V CPUs pour votre instance de travail et une capacité de stockage préinitialisée de 30 Go, vous devez définir une valeur d'environ 27 Go comme mémoire d'exécuteur pour votre tâche Spark. Cela maximise l'utilisation de votre capacité pré-initialisée. La mémoire utilisable serait de 27 Go, plus 10 % de 27 Go (2,7 Go), pour un total de 29,7 Go.
Disque : vous pouvez configurer chaque travailleur avec des disques de stockage temporaires d'une taille minimale de 20 Go et maximale de 200 Go. Vous ne payez que pour le stockage supplémentaire au-delà de 20 Go que vous configurez par utilisateur.
