Configurazione di un cluster Amazon EMR per continuare o terminare dopo l'esecuzione delle fasi - Amazon EMR
Crea un cluster di lunga durataConfigurazione l'esecuzione della fase

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione di un cluster Amazon EMR per continuare o terminare dopo l'esecuzione delle fasi

Questo argomento spiega le differenze tra l'utilizzo di un cluster di lunga durata e la creazione di un cluster transitorio che si arresta dopo l'esecuzione dell'ultimo passaggio. Viene inoltre descritto come configurare l'esecuzione delle fasi per un cluster.

Crea un cluster di lunga durata

Per impostazione predefinita, i cluster creati con la console o il sono di lunga durata. AWS CLI I cluster di lunga durata continuano a funzionare, accettano il lavoro e accumulano addebiti fino a quando non si interviene per arrestarli.

Un cluster di lunga durata è efficace nelle situazioni seguenti:

  • Quando è necessario eseguire una query sull dati in modo interattivo o automatico.

  • Quando è necessario interagire regolarmente con applicazioni Big Data ospitate sul cluster.

  • Quando se si esegue un'elaborazione periodica su un set di dati di dimensioni talmente grandi che risulterebbe inefficace avviare nuovi cluster e caricare ogni volta i dati.

È inoltre possibile impostare la protezione dalla terminazione su un cluster a esecuzione prolungata per evitare la chiusura accidentale o per errore delle EC2 istanze. Per ulteriori informazioni, consulta Utilizzo della protezione dalle terminazioni per proteggere i cluster Amazon EMR da arresti accidentali.

Nota

Amazon EMR abilita automaticamente la protezione da terminazione per tutti i cluster con più nodi primari e sostituisce tutte le impostazioni di esecuzione di fasi fornite durante la creazione del cluster. È possibile disattivare la protezione da cessazione dopo l'avvio del cluster. Per informazioni, consulta Configurazione della protezione da cessazione per i cluster in esecuzione. Per chiudere un cluster con più nodi primari, è necessario modificare gli attributi del cluster per disabilitare la protezione da terminazione. Per istruzioni, consulta Terminazione di un cluster Amazon EMR con più nodi primari.

Configurare un cluster da terminare dopo l'esecuzione della fase

Quando si configura la terminazione dopo l'esecuzione della fase, il cluster viene avviato, esegue le azioni bootstrap e quindi esegue le fasi specificate. Non appena viene completato l'ultimo passaggio, Amazon EMR termina le istanze Amazon del cluster. EC2 Per i cluster avviati utilizzando l'API di Amazon EMR, l'esecuzione delle fasi è abilitata per impostazione predefinita.

La terminazione dopo l'esecuzione della fase è efficace per i cluster che esegue un'operazione di elaborazione periodica, ad esempio un'esecuzione giornaliera dell'elaborazione dei dati. L'esecuzione delle fasi consente inoltre di garantire che viene fatturato solo il tempo necessario per elaborare i dati. Per ulteriori informazioni sulle fasi, consulta Invia il lavoro a un cluster Amazon EMR.

Console
Per attivare la terminazione dopo l'esecuzione della fase con la console

  1. Accedi a e apri AWS Management Console la console Amazon EMR su https://console.aws.amazon.com /emr.

  2. In EMR attivo EC2 nel riquadro di navigazione a sinistra, scegli Cluster, quindi scegli Crea cluster.

  3. In Steps (Fasi), scegli Add step (Aggiungi fase). Inserisci i valori appropriati nei campi della finestra di dialogo Add step (Aggiungi fase). Le opzioni variano a seconda del tipo di fase. Per aggiungere la fase e uscire dalla finestra di dialogo, scegli Add step (Aggiungi fase).

  4. In Cluster termination (Terminazione del cluster), seleziona la casella di controllo Terminate cluster after last step completes (Termina il cluster dopo il completamento dell'ultima fase).

  5. Scegli qualsiasi altra opzione applicabile al cluster.

  6. Per avviare il cluster, scegli Create cluster (Crea cluster).

AWS CLI
Per attivare la terminazione dopo l'esecuzione di una fase con AWS CLI

  • Specifica il parametro --auto-terminate quando utilizzi il comando create-cluster per creare un cluster transitorio.

    L'esempio seguente illustra come utilizzare il parametro --auto-terminate. È possibile digitare il comando seguente e sostituirlo myKey con il nome della propria EC2 key pair.

    Nota

    I caratteri di continuazione della riga Linux (\) sono inclusi per questioni di leggibilità. Possono essere rimossi o utilizzati nei comandi Linux. Per Windows, rimuovili o sostituiscili con un accento circonflesso (^).

    aws emr create-cluster --name "Test cluster" --release-label emr-7.6.0 \
--applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey \
--steps Type=PIG,Name="Pig Program",ActionOnFailure=CONTINUE,\
Args=[-f,s3://amzn-s3-demo-bucket/scripts/pigscript.pig,-p,\
INPUT=s3://amzn-s3-demo-bucket/inputdata/,-p,OUTPUT=s3://amzn-s3-demo-bucket/outputdata/,\
$INPUT=s3://amzn-s3-demo-bucket/inputdata/,$OUTPUT=s3://amzn-s3-demo-bucket/outputdata/]
--instance-type m5.xlarge --instance-count 3 --auto-terminate
API
Per disattivare la terminazione dopo l'esecuzione di fasi con l'API Amazon EMR all'avvio del cluster

  1. Quando utilizzi l'RunJobFlowazione per creare un cluster, imposta la KeepJobFlowAliveWhenNoStepsproprietà su. false

  2. Per modificare la configurazione della terminazione dopo l'esecuzione delle fasi con l'API Amazon EMR dopo il lancio del cluster:

    Usa l' SetKeepJobFlowAliveWhenNoSteps azione.