Configurazione di un cluster per continuare o terminare dopo l'esecuzione della fase - Amazon EMR
Crea un cluster di lunga durataConfigurazione l'esecuzione della fase

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione di un cluster per continuare o terminare dopo l'esecuzione della fase

Questo argomento spiega le differenze tra l'utilizzo di un cluster di lunga durata e la creazione di un cluster transitorio che si arresta dopo l'esecuzione dell'ultimo passaggio. Viene inoltre descritto come configurare l'esecuzione delle fasi per un cluster.

Crea un cluster di lunga durata

Per impostazione predefinita, i cluster creati con la console o con hanno una durata prolungata. AWS CLI I cluster di lunga durata continuano a funzionare, accettano il lavoro e accumulano addebiti fino a quando non si interviene per arrestarli.

Un cluster di lunga durata è efficace nelle situazioni seguenti:

  • Quando è necessario eseguire una query sull dati in modo interattivo o automatico.

  • Quando è necessario interagire regolarmente con applicazioni Big Data ospitate sul cluster.

  • Quando se si esegue un'elaborazione periodica su un set di dati di dimensioni talmente grandi che risulterebbe inefficace avviare nuovi cluster e caricare ogni volta i dati.

È inoltre possibile impostare la protezione di terminazione su un cluster di lunga durata per evitare di arrestare le istanze EC2 accidentalmente o per errore. Per ulteriori informazioni, consulta Utilizzo della protezione da cessazione.

Nota

Amazon EMR abilita automaticamente la protezione da terminazione per tutti i cluster con più nodi primari e sostituisce tutte le impostazioni di esecuzione di fasi fornite durante la creazione del cluster. È possibile disattivare la protezione da cessazione dopo l'avvio del cluster. Per informazioni, consulta Configurazione della protezione da cessazione per i cluster in esecuzione. Per chiudere un cluster con più nodi primari, è necessario modificare gli attributi del cluster per disabilitare la protezione da terminazione. Per istruzioni, consulta Terminazione di un cluster Amazon EMR con più nodi primari.

Configurare un cluster da terminare dopo l'esecuzione della fase

Quando si configura la terminazione dopo l'esecuzione della fase, il cluster viene avviato, esegue le azioni bootstrap e quindi esegue le fasi specificate. Non appena viene completato l'ultima fase, Amazon EMR termina le istanze Amazon EC2 del cluster. Per i cluster avviati utilizzando l'API di Amazon EMR, l'esecuzione delle fasi è abilitata per impostazione predefinita.

La terminazione dopo l'esecuzione della fase è efficace per i cluster che esegue un'operazione di elaborazione periodica, ad esempio un'esecuzione giornaliera dell'elaborazione dei dati. L'esecuzione delle fasi consente inoltre di garantire che viene fatturato solo il tempo necessario per elaborare i dati. Per ulteriori informazioni sulle fasi, consulta Invio di lavoro a un cluster.

Nota

Abbiamo riprogettato la console Amazon EMR per facilitarne l'utilizzo. Per scoprire le differenze tra la vecchia e la nuova esperienza nella console, consulta la sezione Console Amazon EMR.

Console
Per attivare la terminazione dopo l'esecuzione di passaggi con la console

  1. Accedi a e apri AWS Management Console la console Amazon EMR all'indirizzo https://console.aws.amazon.com/emr.

  2. In EMR on EC2 (EMR su EC2), nel riquadro di navigazione a sinistra, scegli Clusters (Cluster) e seleziona Create cluster (Crea cluster).

  3. In Steps (Fasi), scegli Add step (Aggiungi fase). Inserisci i valori appropriati nei campi della finestra di dialogo Add step (Aggiungi fase). Le opzioni variano a seconda del tipo di fase. Per aggiungere la fase e uscire dalla finestra di dialogo, scegli Add step (Aggiungi fase).

  4. In Cluster termination (Terminazione del cluster), seleziona la casella di controllo Terminate cluster after last step completes (Termina il cluster dopo il completamento dell'ultima fase).

  5. Scegli qualsiasi altra opzione applicabile al cluster.

  6. Per avviare il cluster, scegli Create cluster (Crea cluster).

AWS CLI
Per attivare la terminazione dopo l'esecuzione di una fase con il AWS CLI

  • Specifica il parametro --auto-terminate quando utilizzi il comando create-cluster per creare un cluster transitorio.

    L'esempio seguente illustra come utilizzare il parametro --auto-terminate. È possibile digitare il comando seguente e sostituire myKey con il nome della coppia di chiavi EC2.

    Nota

    I caratteri di continuazione della riga Linux (\) sono inclusi per la leggibilità. Possono essere rimossi o utilizzati nei comandi Linux. Per Windows, rimuovili o sostituiscili con un accento circonflesso (^).

    aws emr create-cluster --name "Test cluster" --release-label emr-7.1.0 \
--applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey \
--steps Type=PIG,Name="Pig Program",ActionOnFailure=CONTINUE,\
Args=[-f,s3://mybucket/scripts/pigscript.pig,-p,\
INPUT=s3://mybucket/inputdata/,-p,OUTPUT=s3://mybucket/outputdata/,\
$INPUT=s3://mybucket/inputdata/,$OUTPUT=s3://mybucket/outputdata/]
--instance-type m5.xlarge --instance-count 3 --auto-terminate
API
Per disattivare la terminazione dopo l'esecuzione di fasi con l'API Amazon EMR all'avvio del cluster

  1. Quando utilizzi l'RunJobFlowazione per creare un cluster, imposta la KeepJobFlowAliveWhenNoStepsproprietà su. false

  2. Per modificare la configurazione della terminazione dopo l'esecuzione delle fasi con l'API Amazon EMR dopo il lancio del cluster:

    Usa l' SetKeepJobFlowAliveWhenNoSteps azione.