Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Gestione dei cluster virtuali

Un cluster virtuale è uno spazio dei nomi Kubernetes con cui è registrato Amazon EMR. Consente di creare, descrivere, elencare ed eliminare cluster virtuali. Non consumano risorse aggiuntive nel sistema. Un singolo cluster virtuale esegue la mappatura a un singolo spazio dei nomi Kubernetes. Data questa relazione, è possibile modellare cluster virtuali nello stesso modo in cui si modellano gli spazi dei nomi Kubernetes per soddisfare le proprie esigenze. Fai riferimento ai possibili casi d'uso nella documentazione della Panoramica sui concetti di Kubernetes.

Per registrare Amazon EMR con uno spazio dei nomi Kubernetes in un cluster Amazon EKS, è necessario il nome del cluster EKS e lo spazio dei nomi impostato per l'esecuzione del carico di lavoro. I cluster registrati in Amazon EMR sono chiamati cluster virtuali perché non gestiscono l'elaborazione fisica o l'archiviazione, ma puntano a uno spazio dei nomi Kubernetes in cui è pianificato il carico di lavoro.

Creazione di un cluster virtuale

Esegui il comando seguente per creare un cluster virtuale registrando Amazon EMR con uno spazio dei nomi in un cluster EKS. Sostituiscilo virtual_cluster_name con un nome che fornisci per il tuo cluster virtuale. Sostituisci eks_cluster_name con il nome del cluster EKS. Sostituiscilo namespace_name con lo spazio dei nomi con cui desideri registrare Amazon EMR.

aws emr-containers create-virtual-cluster \
--name virtual_cluster_name \
--container-provider '{
    "id": "eks_cluster_name",
    "type": "EKS",
    "info": {
        "eksInfo": {
            "namespace": "namespace_name"
        }
    }
}' 

In alternativa, è possibile creare un file JSON che includa i parametri richiesti per il cluster virtuale, come illustrato nell'esempio seguente.

{
    "name": "virtual_cluster_name", 
    "containerProvider": {
        "type": "EKS", 
        "id": "eks_cluster_name", 
        "info": {
            "eksInfo": {
                "namespace": "namespace_name"
            }
        }
    }
}

Successivamente, esegui il seguente comando create-virtual-cluster con il percorso del file JSON.

aws emr-containers create-virtual-cluster \
--cli-input-json file://./create-virtual-cluster-request.json
    

Elenco dei cluster virtuali

Per visualizzare lo stato dei cluster virtuali, esegui il seguente comando.

aws emr-containers list-virtual-clusters

Descrizione di un cluster virtuale

Esegui il comando seguente per ottenere maggiori dettagli su un cluster virtuale, come ad esempio lo spazio dei nomi, lo stato e la data di registrazione. Sostituiscilo 123456 con l'ID del tuo cluster virtuale.

aws emr-containers describe-virtual-cluster --id 123456

Eliminazione di un cluster virtuale

Esegui questo comando per eliminare un cluster virtuale. Sostituiscilo 123456 con l'ID del tuo cluster virtuale.

aws emr-containers delete-virtual-cluster --id 123456

Stati dei cluster virtuali

Nella tabella seguente vengono descritti i quattro stati possibili di un cluster virtuale.

Limiti di lavoro simultanei per i cluster virtuali

Puoi configurare i limiti di lavoro simultanei su un cluster virtuale Amazon EMR on EKS per controllare quante esecuzioni di lavoro vengono eseguite contemporaneamente e quante possono attendere in coda. Puoi impostare il limite di concorrenza (maxConcurrentJobRuns) e la profondità della coda () in modo indipendente, in modo da poter limitare le esecuzioni dei processi in esecuzione, le esecuzioni dei lavori in coda o entrambi. maxInQueueJobRuns Quando imposti questi limiti, l'StartJobRunAPI fornisce una contropressione a livello di cluster virtuale. Il processo viene eseguito oltre il limite di esecuzione, attendi in coda nello PENDING stato SUBMITTED or invece di iniziare immediatamente e, una volta che la coda è piena, rifiuta ulteriori invii. StartJobRun Ad esempio, se si imposta un cluster virtuale per consentire 500 esecuzioni di processi simultanee e 100 esecuzioni di processi in coda, il 101° invio in coda viene rifiutato ed è possibile ribilanciare il carico di lavoro su altri cluster virtuali sullo stesso cluster EKS o aggiungere capacità. Quando non è stato impostato un limite di concorrenza e la profondità della coda continua a crescere, in modo che le esecuzioni dei processi rimangano PENDING nello stato SUBMITTED or più a lungo prima di iniziare, può segnalare che il cluster EKS sottostante sta esaurendo le risorse di calcolo e non può pianificare nuovi pod abbastanza velocemente. In tal caso, indirizzate il carico di lavoro verso un altro cluster o aggiungete capacità.

I limiti di lavoro simultanei aggiungono un livello di controllo davanti allo scheduler di Kubernetes e alla funzionalità sul sito web di Kubernetes. ResourceQuota Poiché vengono applicati prima della creazione di qualsiasi podStartJobRun, il carico in eccesso viene messo in coda o rifiutato nell'API, il che protegge il cluster sottostante prima che i job lo raggiungano. Kubernetes impone ancora il limite effettivo di CPU e memoria sottostante.

Principali vantaggi dei limiti di lavoro simultanei

Guida introduttiva ai limiti di lavoro simultanei

È possibile configurare i limiti di lavoro simultanei con il schedulerConfiguration campo su un cluster virtuale. Questo campo accetta due parametri:

AWS CLI

Per impostare dei limiti quando crei un cluster virtuale, specificalo schedulerConfiguration nella richiesta.

aws emr-containers create-virtual-cluster \
  --name my-virtual-cluster \
  --container-provider '{ ... }' \
  --scheduler-configuration '{
      "maxConcurrentJobRuns": 500,
      "maxInQueueJobRuns": 100
  }'

Per modificare i limiti su un cluster virtuale esistente, usa il update-virtual-cluster comando.

aws emr-containers update-virtual-cluster \
  --id virtual-cluster-id \
  --scheduler-configuration '{
      "maxConcurrentJobRuns": 500,
      "maxInQueueJobRuns": 100
  }'

Per rimuovere i limiti da un cluster virtuale, passane uno vuotoschedulerConfiguration. Questo cancella la configurazione, quindi non si applicano limiti e il cluster virtuale torna al comportamento predefinito (illimitato). Nota che l'omissione schedulerConfiguration dalla richiesta lascia invece invariati i limiti esistenti: devi passare un oggetto vuoto per cancellarli.

aws emr-containers update-virtual-cluster \
  --id virtual-cluster-id \
  --scheduler-configuration '{}'

Per visualizzare i limiti attuali e il numero di lavori in tempo reale, utilizzate il describe-virtual-cluster comando. La risposta include schedulerConfiguration sia il tuo che un SchedulerStatus oggetto con l'attuale activeJobRunCount einQueueJobRunCount.

Scelta dei valori per max e max ConcurrentJobRuns InQueueJobRuns

I limiti corretti dipendono da tre fattori: la quantità di lavoro che può eseguire contemporaneamente il cluster Amazon EKS, la mole di invii e il modo in cui desideri che il cluster virtuale si comporti quando è pieno. Usa le seguenti linee guida per scegliere un punto di partenza e poi perfezionarlo in base ai contatori attivi.

Impostazione del numero massimo ConcurrentJobRuns (slot attivi)

maxConcurrentJobRunsè un guardrail basato sulla granularità del lavoro e sul conteggio. Una stima approssimativa qui può proteggere il cluster Amazon EKS sottostante dal deterioramento dovuto al carico e può migliorare la disponibilità.

Impostazione del valore massimo InQueueJobRuns (profondità della coda)

maxInQueueJobRunscontrolla l'entità del backlog accettato dal cluster virtuale prima di iniziare a rifiutare gli invii. È un buffer di assorbimento delle esplosioni. Considera i seguenti fattori.

Considerazioni sui limiti di lavoro simultanei