Utilizzo di una politica di terminazione automatica per la pulizia dei cluster Amazon EMR - Amazon EMR
ConsiderazioniAutorizzazioni per l'utilizzo della terminazione automaticaAllega, aggiorna o rimuovi una policy di terminazione automatica

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo di una politica di terminazione automatica per la pulizia dei cluster Amazon EMR

Una policy di terminazione automatica consente di orchestrare la pulizia del cluster senza la necessità di monitorare e terminare manualmente i cluster inutilizzati. Quando si aggiunge una policy di terminazione automatica a un cluster, si specifica la quantità di tempo di inattività dopo il quale il cluster deve arrestarsi automaticamente.

A seconda della versione di rilascio, Amazon EMR utilizza criteri diverse per contrassegnare un cluster come inattivo. Nella tabella seguente viene illustrato come Amazon EMR determina l'inattività del cluster.

Quando utilizzi... Un cluster è considerato inattivo quando...
Amazon EMR versione 5.34.0 e successive, e versione 6.4.0 e successive

  • Non esistono applicazioni YARN attive

  • L'utilizzo dell'HDFS è inferiore al 10%

  • Non ci sono connessioni attive per EMR Notebooks o EMR Studio

  • Non sono in uso interfacce utente dell'applicazione on-cluster

  • Non ci sono passaggi in sospeso
Amazon EMR versioni 5.30.0 - 5.33.0 e 6.1.0 - 6.3.0

  • Non esistono applicazioni YARN attive

  • Il cluster non ha processi Spark attivi

Nota

Amazon EMR contrassegna un cluster come inattivo e potrebbe terminare automaticamente il cluster anche se si dispone di un kernel Python3 attivo. Questo perché l'esecuzione di un kernel Python3 non invia un processo Spark sul cluster. Per utilizzare la terminazione automatica con un kernel Python3, consigliamo di utilizzare Amazon EMR versione 6.4.0 o successive.
Nota

Amazon EMR versione 6.4.0 e successive supportano un file su cluster per il rilevamento dell'attività sul nodo primario: /emr/metricscollector/isbusy. Quando si utilizza un cluster per eseguire script di shell o applicazioni non YARN, è possibile toccare o aggiornare periodicamente isbusy per indicare ad Amazon EMR che il cluster non è inattivo.

È possibile allegare una policy di terminazione automatica quando si crea un cluster o si aggiunge una policy a un cluster esistente. Per modificare o disabilitare la terminazione automatica, è possibile aggiornare o rimuovere la policy.

Considerazioni

Prima di utilizzare una policy di terminazione automatica, considera le seguenti caratteristiche e limitazioni:

  • Di seguito Regioni AWS, la terminazione automatica di Amazon EMR è disponibile con Amazon EMR 6.14.0 e versioni successive:

    • Europa (Spagna) (eu-south-2)

  • Di seguito Regioni AWS, la terminazione automatica di Amazon EMR è disponibile con Amazon EMR 5.30.0 e 6.1.0 e versioni successive:

    • Stati Uniti orientali (Virginia settentrionale) (us-east-1)

    • Stati Uniti orientali (Ohio) (us-east-2)

    • Stati Uniti occidentali (Oregon) (us-west-2)

    • Stati Uniti occidentali (California settentrionale) (us-west-1)

    • Africa (Città del Capo) (af-south-1)

    • Asia Pacifico (Hong Kong) (ap-east-1)

    • Asia Pacifico (Mumbai) (ap-south-1)

    • Asia Pacifico (Hyderabad) (ap-south-2)

    • Asia Pacifico (Seoul) (ap-northeast-2)

    • Asia Pacifico (Osaka-Locale) (ap-northeast-3)

    • Asia Pacifico (Singapore) (ap-southeast-1)

    • Asia Pacifico (Sydney) (ap-southeast-2)

    • Asia Pacific (Giacarta) (ap-southeast-3)

    • Asia Pacifico (Tokyo) (ap-northeast-1)

    • Canada (Centrale) (ca-central-1)

    • Sud America (San Paolo) (sa-east-1)

    • Europa (Francoforte) (eu-central-1)

    • Europa (Zurigo) (eu-central-2)

    • Europa (Irlanda) (eu-west-1)

    • Europa (Londra) (eu-west-2)

    • Europa (Milano) (eu-south-1)

    • Europe (Parigi) (eu-west-3)

    • Europa (Stoccolma) (eu-north-1)

    • Israele (Tel Aviv) (il-central-1)

    • Medio Oriente (EAU) (me-central-1)

    • Cina (Pechino) cn-north-1

    • Cina (Ningxia) cn-nordovest-1

    • AWS GovCloud (Stati Uniti orientali) (-1) us-gov-east

    • AWS GovCloud (Stati Uniti occidentali) (us-gov-west-1)

  • Il timeout inattivo è predefinito di 60 minuti (un'ora) quando non si specifica un importo. È possibile specificare un timeout minimo di inattività di un minuto e un timeout massimo di 7 giorni.

  • Con Amazon EMR versioni 6.4.0 e successive, la terminazione automatica è abilitata per impostazione predefinita quando si crea un nuovo cluster tramite la console Amazon EMR.

  • Amazon EMR pubblica Amazon CloudWatch parametri ad alta risoluzione quando abiliti la terminazione automatica per un cluster. Puoi utilizzare queste metriche per monitorare l'attività e l'inattività del cluster. Per ulteriori informazioni, consulta Parametri della capacità del cluster.

  • La terminazione automatica non è supportata quando utilizzi applicazioni non basate su Yarn come Presto, Trino o. HBase

  • Per utilizzare la terminazione automatica in API Gateway, il processo di raccolta dei parametri deve essere in grado di connettersi all'endpoint API pubblico. Se utilizzi un nome DNS privato con Amazon Virtual Private Cloud, la terminazione automatica non funzionerà correttamente. Per garantire che la terminazione automatica funzioni, è consigliabile eseguire una delle seguenti operazioni:

  • (EMR rilascio 5.30.0 e successivi) Se si rimuove la regola predefinita Allow All (Consenti tutto) in uscita su 0.0.0.0/ nel gruppo di sicurezza primario, è necessario aggiungere una regola per consentire la connettività TCP in uscita al gruppo di sicurezza di accesso al servizio sulla porta 9443. Inoltre, il gruppo di sicurezza di accesso al servizio deve consentire il traffico TCP in ingresso sulla porta 9443 dal gruppo di sicurezza primario. Per ulteriori informazioni sulla configurazione dei gruppi di sicurezza, consulta la sezione Amazon EMR-managed security group for the primary instance (private subnets) (Gruppo di sicurezza gestito da Amazon EMR per l'istanza primaria [sottoreti private]).

Autorizzazioni per l'utilizzo della terminazione automatica

Per poter applicare e gestire le policy di terminazione automatica per Amazon EMR, devi collegare le autorizzazioni elencate nell'esempio seguente sulle policy di autorizzazioni IAM alle risorse IAM che gestiscono il cluster EMR.

{
  "Version": "2012-10-17",
  "Statement": {
      "Sid": "AllowAutoTerminationPolicyActions",
      "Effect": "Allow",
      "Action": [
        "elasticmapreduce:PutAutoTerminationPolicy",
        "elasticmapreduce:GetAutoTerminationPolicy",
        "elasticmapreduce:RemoveAutoTerminationPolicy"
      ],
      "Resource": "<your-resources>"
    }
}

Allega, aggiorna o rimuovi una policy di terminazione automatica

Questa sezione include istruzioni per allegare, aggiornare o rimuovere una policy di terminazione automatica da un cluster Amazon EMR. Prima di lavorare con le policy di terminazione automatica, assicurati di disporre delle autorizzazioni IAM necessarie. Per informazioni, consulta Autorizzazioni per l'utilizzo della terminazione automatica.

Console
Per allegare una politica di terminazione automatica quando si crea un cluster con la console

  1. Accedi a e apri AWS Management Console la console Amazon EMR su https://console.aws.amazon.com /emr.

  2. In EMR attivo EC2 nel riquadro di navigazione a sinistra, scegli Cluster, quindi scegli Crea cluster.

  3. In Cluster termination (Terminazione del cluster), seleziona Terminate cluster after idle time (Termina il cluster dopo il tempo di inattività).

  4. Specifica il numero di ore e minuti di inattività dopo i quali il cluster deve terminare automaticamente. Il tempo di inattività predefinito è 1 ora.

  5. Scegli qualsiasi altra opzione applicabile al cluster.

  6. Per avviare il cluster, scegli Create cluster (Crea cluster).

Per allegare, aggiornare o rimuovere una politica di terminazione automatica su un cluster in esecuzione con la console

  1. Accedi a e apri AWS Management Console la console Amazon EMR su https://console.aws.amazon.com /emr.

  2. In EMR attivo EC2 nel riquadro di navigazione a sinistra, scegli Cluster e seleziona il cluster che desideri aggiornare.

  3. Nella scheda Properties (Proprietà) della pagina dei dettagli del cluster, cerca Cluster termination (Terminazione del cluster) e seleziona Edit (Modifica).

  4. Seleziona o deseleziona Enable auto-termination (Abilita la terminazione automatica) per attivare o disattivare la caratteristica. Se attivi la terminazione automatica, specifica il numero di ore e minuti di inattività dopo il quale il cluster termina automaticamente. Quindi seleziona Save changes (Salva modifiche) per confermare.

AWS CLI

Prima di iniziare

Prima di utilizzare le policy di terminazione automatica, si consiglia di eseguire l'aggiornamento alla versione più recente della AWS CLI. Per le istruzioni, consulta Installazione, aggiornamento e disinstallazione della AWS CLI.

Per allegare o aggiornare una policy di terminazione automatica utilizzando la AWS CLI

  • Puoi utilizzare il comando aws emr put-auto-termination-policy per allegare o aggiornare una policy di terminazione automatica su un cluster.

    L'esempio seguente specifica 3600 secondi per. IdleTimeout Se non si specificaIdleTimeout, il valore predefinito è un'ora. 

    aws emr put-auto-termination-policy \
--cluster-id <your-cluster-id> \
--auto-termination-policy IdleTimeout=3600
    Nota

    I caratteri di continuazione della riga Linux (\) sono inclusi per questioni di leggibilità. Possono essere rimossi o utilizzati nei comandi Linux. Per Windows, rimuovili o sostituiscili con un accento circonflesso (^).

    È anche possibile specificare un valore per --auto-termination-policy quando si utilizza il comando aws emr create-cluster. Per ulteriori informazioni sull'utilizzo dei comandi Amazon EMR in AWS CLI, consulta il AWS CLI Command Reference.

Per rimuovere una politica di terminazione automatica con AWS CLI

  • Utilizzo il comando aws emr remove-auto-termination-policy per rimuovere una policy di terminazione automatica da un cluster. Per ulteriori informazioni sull'utilizzo dei comandi Amazon EMR in AWS CLI, consulta il AWS CLI Command Reference.

    aws emr remove-auto-termination-policy --cluster-id <your-cluster-id>