Utilizzo della scalabilità automatica Presto con disattivazione con tolleranza

Le EMR versioni 5.30.0 e successive di Amazon includono una funzionalità che puoi utilizzare per impostare un periodo di tolleranza per determinate azioni di ridimensionamento. Il periodo di tolleranza consente alle attività Presto di continuare a essere eseguite prima della terminazione del nodo a causa di un'operazione di ridimensionamento in riduzione o di una richiesta di policy di scalabilità automatica. Per ulteriori informazioni sulle regole di scalabilità, consulta Understanding automatic scaling rules nella Amazon EMR Management Guide. La scalabilità automatica Presto con disattivazione con tolleranza impedisce la pianificazione di nuove attività su un nodo in fase di disattivazione, consentendo allo stesso tempo alle attività già in esecuzione di essere completate prima che venga raggiunto il timeout di arresto. Le query in esecuzione verranno completate prima che il nodo venga disattivato. La scalabilità automatica non è supportata nei parchi istanze.

È possibile controllare quanto tempo occorre per il completamento delle attività Presto in seguito alla ricezione di una richiesta di arresto con scalabilità automatica. Per impostazione predefinita, il timeout di chiusura per Amazon EMR è di 0 minuti, il che significa che Amazon interrompe EMR immediatamente il nodo e tutte le attività Presto in esecuzione su di esso, se richiesto da una richiesta scale-in. Per impostare un timeout più lungo per le attività Presto su Amazon EMR per consentire il completamento delle query in esecuzione prima di ridimensionare un cluster, utilizza la classificazione di presto-config configurazione per impostare il graceful-shutdown-timeout parametro su un valore in secondi o minuti maggiore di zero. Per ulteriori informazioni, consulta Configurazione delle applicazioni.

Ad esempio, aumentando il valore graceful-shutdown-timeout a "30m" si specifica un periodo di timeout di 30 minuti. Al termine del periodo del timeout di arresto, il nodo contrassegnato per la disattivazione viene terminato forzatamente se è in attesa del completamento delle attività di query e la query ha esito negativo. Se le attività di interrogazione vengono completate entro cinque minuti, il nodo contrassegnato per la disattivazione termina dopo cinque minuti, a condizione che l'esecuzione delle altre applicazioni sia stata completata. YARN

[
    {
        "classification": "presto-config",
        "properties": {
            "graceful-shutdown-timeout": "1800s"
        }
    }
]
            

Limitazioni

PrestoDB Graceful Decommission non funziona EMR su cluster in HTTP cui la connettività è disabilitata, ad esempio quando è impostata su. http-server.http.enabled false Trino non supporta la disattivazione con tolleranza, indipendentemente dall'impostazione di http-server.http.enabled.