Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Provisioning continuo per operazioni cluster avanzate su Amazon EKS

SageMaker HyperPod I cluster Amazon creati con l'orchestrazione di Amazon EKS ora supportano il provisioning continuo, una nuova funzionalità che consente una maggiore flessibilità ed efficienza nell'esecuzione di carichi di lavoro su larga scala. AI/ML Il provisioning continuo consente di iniziare rapidamente l’addestramento, scalare senza problemi, eseguire la manutenzione senza interrompere le operazioni e avere una visibilità granulare sulle operazioni del cluster.

Come funziona

Il sistema di provisioning continuo introduce un’architettura dello stato desiderato che sostituisce il tradizionale modello basato sulla richiesta. Questa nuova architettura consente operazioni parallele e non bloccanti su diversi livelli di risorse, mantenendo al contempo la stabilità e le prestazioni del sistema. Il sistema di provisioning continuo:

Il provisioning continuo è disabilitato per impostazione predefinita. Per utilizzare questa funzionalità, imposta --node-provisioning-mode su Continuous.

Con il provisioning continuo abilitato, puoi avviare più operazioni di dimensionamento contemporaneamente senza attendere il completamento delle operazioni precedenti. Ciò consente di scalare contemporaneamente diversi gruppi di istanze nello stesso cluster e di inviare più richieste di dimensionamento allo stesso gruppo di istanze.

Il provisioning continuo consente inoltre di accedere e accedere al monitoraggio dettagliato degli eventi DescribeClusterEvent e alla visibilità operativa ListClusterEvent.

Misurazione dell’utilizzo

HyperPod i cluster con provisioning continuo utilizzano la misurazione a livello di istanza per fornire una fatturazione accurata che rifletta l'effettivo utilizzo delle risorse. Questo approccio di misurazione si differenzia dalla tradizionale fatturazione a livello di cluster in quanto tiene traccia di ogni istanza in modo indipendente.

Instance-level fatturazione

Con il provisioning continuo, la fatturazione inizia e si arresta a livello della singola istanza anziché attendere le modifiche dello stato a livello di cluster. Questa funzionalità fornisce i seguenti vantaggi:

Ciclo di vita della fatturazione

Ogni istanza del HyperPod cluster segue questo ciclo di vita di fatturazione:

Creazione di un cluster con provisioning continuo abilitato

La seguente AWS CLI operazione crea un HyperPod cluster con un gruppo di istanze e il provisioning continuo è abilitato.

aws sagemaker create-cluster \ 
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "ig-1",
   "InstanceType": "ml.c5.2xlarge",
   "InstanceCount": 2,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create_noop.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'",
   "ThreadsPerCore": 1,
   "TrainingPlanArn": ""
}' \
--node-provisioning-mode Continuous


// Expected Output:
{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:<account-id>:cluster/<cluster-id>"
}

Dopo aver creato il cluster, puoi utilizzare ListClusterNodes or DescribeClusterNode per trovare ulteriori informazioni sui nodi del cluster.

La chiamata a queste operazioni restituirà un ClusterInstanceStatusDetails oggetto con uno dei seguenti valori:

Requisiti minimi di capacità () MinCount

La MinCount funzionalità consente di specificare il numero minimo di istanze di cui è necessario eseguire correttamente il provisioning prima che un gruppo di istanze passi allo stato. InService Questa funzionalità offre un migliore controllo sulle operazioni di scalabilità e aiuta a prevenire scenari in cui i gruppi di istanze parzialmente assegnati non possono essere utilizzati efficacemente per l'addestramento dei carichi di lavoro.

Come funziona MinCount

Quando si crea o si aggiorna un gruppo di istanze con MinCount abilitato, si verifica il seguente comportamento:

Stato del gruppo di istanze durante le operazioni MinCount

I gruppi di istanze MinCount configurati presentano il seguente comportamento di stato:

Durante Updating lo stato Creating o, si applicano le seguenti restrizioni:

Comportamento di rollback automatico

Se un gruppo di istanze non riesce a raggiungerlo MinCount entro 3 ore, il sistema avvia automaticamente un rollback per evitare attese indefinite:

Il timeout di 3 ore si ripristina ogni volta che viene aggiornato. MinCount Ad esempio, se si esegue l'aggiornamento MinCount più volte, il periodo di timeout riparte dall'aggiornamento più recente.

MinCount eventi

Il sistema emette eventi specifici per aiutarti a tenere traccia MinCount delle operazioni:

Puoi monitorare questi eventi utilizzando lo strumento per tracciare lo stato di avanzamento delle tue ListClusterEvents operazioni. MinCount

Utilizzo delle API

MinCount viene specificato utilizzando il MinInstanceCount parametro nelle configurazioni dei gruppi di istanze:

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "worker-group",
   "InstanceType": "ml.p4d.24xlarge",
   "InstanceCount": 64,
   "MinInstanceCount": 50,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'"
}' \
--node-provisioning-mode Continuous

Considerazioni chiave per MinCount l'utilizzo:

Gruppi di istanze flessibili

I gruppi di istanze flessibili consentono di specificare più tipi di istanze all'interno di un singolo gruppo di istanze. Ciò semplifica la gestione dei cluster riducendo il numero di gruppi di istanze da creare e gestire, in particolare per i carichi di lavoro di inferenza che utilizzano la scalabilità automatica.

Con gruppi di istanze flessibili,: HyperPod

Crea un cluster con un gruppo di istanze flessibile

Usa InstanceRequirements invece di InstanceType per creare un gruppo di istanze flessibile. L'ordine dei tipi di istanza nell'elenco determina la priorità per il provisioning.

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET_AZ1'", "'$SUBNET_AZ2'"]
}' \
--instance-groups '[{
   "InstanceGroupName": "flexible-ig",
   "InstanceRequirements": {
      "InstanceTypes": ["ml.p5.48xlarge", "ml.p4d.24xlarge", "ml.g6.48xlarge"]
   },
   "InstanceCount": 10,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'"
}]' \
--node-provisioning-mode Continuous

Scalabilità mirata con BatchAddClusterNodes

Quando si utilizzano gruppi di istanze flessibili, è possibile utilizzare BatchAddClusterNodes per aggiungere nodi con tipi di istanze e zone di disponibilità specifici. Ciò è particolarmente utile quando la scalabilità automatica di Karpenter determina il tipo di istanza e la zona di disponibilità ottimali per il carico di lavoro.

aws sagemaker batch-add-cluster-nodes \
--cluster-name $HP_CLUSTER_NAME \
--nodes-to-add '[
   {
      "InstanceGroupName": "flexible-ig",
      "IncrementTargetCountBy": 1,
      "InstanceTypes": ["ml.p5.48xlarge"],
      "AvailabilityZones": ["us-west-2a"]
   }
]'

Visualizza i dettagli flessibili del gruppo di istanze

Utilizzalo DescribeCluster per visualizzare i tipi di istanze e la suddivisione per tipo del tuo gruppo di istanze flessibili. La risposta include:

Utilizzo di gruppi di istanze flessibili con la scalabilità automatica di Karpenter

I gruppi di istanze flessibili si integrano con HyperPod la scalabilità automatica gestita da Karpenter. Per ulteriori informazioni sulla configurazione di Karpenter, vedere. Scalabilità automatica su EKS SageMaker HyperPod Quando si fa riferimento a un gruppo di istanze flessibile in una HyperPodNodeClass configurazione, Karpenter automaticamente:

Ciò elimina la necessità di creare gruppi di istanze separati per ogni tipo di istanza e configurare manualmente Karpenter in modo che faccia riferimento a più gruppi.