Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Comprensione del comportamento delle applicazioni in Serverless EMR
Questa sezione descrive il comportamento di invio dei lavori, la configurazione della capacità per la scalabilità e le impostazioni di configurazione dei worker per Serverless. EMR
Comportamento predefinito dell'applicazione
Avvio automatico: per impostazione predefinita, un'applicazione è configurata per l'avvio automatico all'invio del lavoro. È possibile disattivare questa funzionalità.
Arresto automatico: per impostazione predefinita, un'applicazione è configurata per l'arresto automatico quando è inattiva per 15 minuti. Quando un'applicazione passa allo STOPPED stato, rilascia qualsiasi capacità preinizializzata configurata. È possibile modificare la quantità di tempo di inattività prima dell'arresto automatico di un'applicazione oppure disattivare questa funzionalità.
Capacità massima
È possibile configurare la capacità massima fino alla quale un'applicazione può scalare. È possibile specificare la capacità massima in termini di CPU memoria (GB) e disco (GB).
Nota
Si consiglia di configurare la capacità massima in modo proporzionale alle dimensioni dei lavoratori supportate moltiplicando il numero di lavoratori per le loro dimensioni. Ad esempio, se desiderate limitare l'applicazione a 50 worker con vCPUs 2.16 GB di memoria e 20 GB per disco, impostate la capacità massima su vCPUs 100.800 GB per la memoria e 1000 GB per il disco.
Configurazioni dei lavoratori supportate
La tabella seguente mostra le configurazioni e le dimensioni dei worker supportate che è possibile specificare per EMR Serverless. È possibile configurare dimensioni diverse per driver ed esecutori in base alle esigenze del carico di lavoro.
| CPU | Memoria | Archiviazione temporanea predefinita |
|---|---|---|
|
1 v CPU |
Minimo 2 GB, massimo 8 GB, con incrementi di 1 GB |
20 GB - 200 GB |
|
2 v CPU |
Minimo 4 GB, massimo 16 GB, con incrementi di 1 GB |
20 GB - 200 GB |
|
4 v CPU |
Minimo 8 GB, massimo 30 GB, con incrementi di 1 GB |
20 GB - 200 GB |
|
8 v CPU |
Minimo 16 GB, massimo 60 GB, con incrementi di 4 GB |
20 GB - 200 GB |
|
16 v CPU |
Minimo 32 GB, massimo 120 GB, con incrementi di 8 GB |
20 GB - 200 GB |
CPU— Ogni lavoratore può avere 1, 2, 4, 8 o 16vCPUs.
Memoria: ogni lavoratore dispone di memoria, specificata in GB, entro i limiti elencati nella tabella precedente. I job Spark hanno un sovraccarico di memoria, il che significa che la memoria che usano è superiore alle dimensioni del contenitore specificate. Questo sovraccarico è specificato con le proprietà e. spark.driver.memoryOverhead spark.executor.memoryOverhead L'overhead ha un valore predefinito del 10% della memoria del contenitore, con un minimo di 384 MB. È necessario considerare questo sovraccarico quando si scelgono le dimensioni dei lavoratori.
Ad esempio, se scegli 4 vCPUs per l'istanza di lavoro e una capacità di storage preinizializzata di 30 GB, dovresti impostare un valore di circa 27 GB come memoria executor per il tuo job Spark. Ciò massimizza l'utilizzo della capacità preinizializzata. La memoria utilizzabile sarebbe di 27 GB, più il 10% di 27 GB (2,7 GB), per un totale di 29,7 GB.
Disco: è possibile configurare ogni lavoratore con dischi di archiviazione temporanei con una dimensione minima di 20 GB e un massimo di 200 GB. Paghi solo lo spazio di archiviazione aggiuntivo oltre i 20 GB configurato per lavoratore.
