Creazione di un nuovo cluster Descrizione di un cluster Elenco dei dettagli dei nodi del cluster Descrizione dei dettagli di un nodo del cluster Elenco dei cluster Aggiornamento della configurazione del cluster Aggiorna il software della SageMaker HyperPod piattaforma di un cluster Riduzione verticale di un cluster Eliminazione di un cluster

Gestione dei cluster SageMaker HyperPod Slurm utilizzando il AWS CLI

I seguenti argomenti forniscono indicazioni su come scrivere file di richiesta SageMaker HyperPod API in formato JSON ed eseguirli utilizzando i AWS CLI comandi.

Argomenti

Creazione di un nuovo cluster
Descrizione di un cluster
Elenco dei dettagli dei nodi del cluster
Descrizione dei dettagli di un nodo del cluster
Elenco dei cluster
Aggiornamento della configurazione del cluster
Aggiorna il software della SageMaker HyperPod piattaforma di un cluster
Riduzione verticale di un cluster
Eliminazione di un cluster

Creazione di un nuovo cluster

Prepara gli script di configurazione del ciclo di vita e caricali in un bucket S3, ad esempio s3://sagemaker-amzn-s3-demo-bucket/lifecycle-script-directory/src/. La fase 2 seguente presuppone che esista uno script del punto di ingresso denominato on_create.sh nel bucket S3 specificato.

Importante
Assicurati di impostare il percorso S3 in modo che inizi con s3://sagemaker-. Al Ruolo IAM per SageMaker HyperPod è collegata la policy gestita AmazonSageMakerClusterInstanceRolePolicy, che consente l’accesso ai bucket S3 con il prefisso specifico sagemaker-.

Prepara un file di richiesta CreateCluster API in formato JSON. Devi configurare i gruppi di istanze in modo che corrispondano al cluster Slurm progettato nel file provisioning_parameters.json che verrà utilizzato durante la creazione del cluster nell’ambito dell’esecuzione di un set di script del ciclo di vita. Per ulteriori informazioni, consulta Personalizzazione dei SageMaker HyperPod cluster utilizzando script del ciclo di vita. Il modello seguente ha due gruppi di istanze per soddisfare i requisiti minimi per un cluster Slurm: un nodo controller (head) e un nodo di calcolo (worker). Per ExecutionRole, fornisci l’ARN del ruolo IAM che hai creato con la policy gestita AmazonSageMakerClusterInstanceRolePolicy nella sezione Ruolo IAM per SageMaker HyperPod.


// create_cluster.json
{
    "ClusterName": "your-hyperpod-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            // Optional: Configure an additional storage per instance group.
            "InstanceStorageConfigs": [
                {
                   // Attach an additional EBS volume to each instance within the instance group.
                   // The default mount path for the additional EBS volume is /opt/sagemaker.
                   "EbsVolumeConfig":{
                      // Specify an integer between 1 and 16384 in gigabytes (GB).
                      "VolumeSizeInGB": integer,
                   }
                }
            ]
        }, 
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.p4d.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster"
        }
    ],
    // Optional
    "Tags": [ 
        { 
           "Key": "string",
           "Value": "string"
        }
    ],
    // Optional
    "VpcConfig": { 
        "SecurityGroupIds": [ "string" ],
        "Subnets": [ "string" ]
    }
}

A seconda di come progetti la struttura del cluster con gli script del ciclo di vita, puoi configurare fino a 20 gruppi di istanze nel parametro InstanceGroups.

Per il parametro di Tags richiesta, puoi aggiungere tag personalizzati per la gestione del SageMaker HyperPod cluster come AWS risorsa. Puoi aggiungere tag al tuo cluster nello stesso modo in cui li aggiungi in altri AWS servizi che supportano i tag. Per ulteriori informazioni sulla codifica AWS delle risorse in generale, consulta la Guida per l'utente di Tagging AWS Resources.

Per il parametro di richiesta VpcConfig, specifica le informazioni del VPC da utilizzare. Per ulteriori informazioni, consulta Configurazione SageMaker HyperPod con un Amazon VPC personalizzato.

Utilizza il comando create-cluster come segue.
```
aws sagemaker create-cluster \
    --cli-input-json file://complete/path/to/create_cluster.json
```
Questo dovrebbe restituire l’ARN del nuovo cluster.

Descrizione di un cluster

Esegui describe-cluster per verificare lo stato del cluster. Puoi specificare il nome o l’ARN del cluster.


aws sagemaker describe-cluster --cluster-name your-hyperpod-cluster

Quando lo stato del cluster diventa InService, procedi con la fase successiva. Utilizzando questa API, puoi anche recuperare i messaggi di errore dall'esecuzione di altre HyperPod operazioni API.

Elenco dei dettagli dei nodi del cluster

Esegui list-cluster-nodes per controllare le informazioni chiave dei nodi del cluster.


aws sagemaker list-cluster-nodes --cluster-name your-hyperpod-cluster

Questo restituisce una risposta e InstanceId è ciò che ti serve per l’accesso (con aws ssm).

Descrizione dei dettagli di un nodo del cluster

Esegui describe-cluster-node per recuperare i dettagli di un nodo del cluster. Puoi ottenere l’ID del nodo del cluster dall’output di list-cluster-nodes. Puoi specificare il nome o l’ARN del cluster.


aws sagemaker describe-cluster-node \
    --cluster-name your-hyperpod-cluster \
    --node-id i-111222333444555aa

Elenco dei cluster

Esegui list-clusters per elencare tutti i cluster del tuo account.


aws sagemaker list-clusters

Puoi anche aggiungere ulteriori flag per filtrare l’elenco dei cluster. Per ulteriori informazioni su ciò che questo comando esegue a basso livello e sui flag aggiuntivi per il filtraggio, consulta il riferimento all'ListClustersAPI.

Aggiornamento della configurazione del cluster

Esegui update-cluster per aggiornare la configurazione di un cluster.

Nota

Puoi utilizzare l'UpdateClusterAPI per ridimensionare o rimuovere interi gruppi di istanze dal tuo SageMaker HyperPod cluster. Per ulteriori istruzioni su come ridurre verticalmente o eliminare i gruppi di istanze, consulta Riduzione verticale di un cluster.

Crea un file di richiesta UpdateCluster in formato JSON. Assicurati di specificare correttamente il nome del cluster e il nome del gruppo di istanze da aggiornare. Puoi modificare il tipo di istanza, il numero di istanze, lo script del punto di ingresso della configurazione del ciclo di vita e il percorso dello script.
1. Per ClusterName, specifica il nome del cluster da aggiornare.
2. Per InstanceGroupName
  1. Per aggiornare un gruppo di istanze esistente, specifica il nome del gruppo di istanze da aggiornare.
  2. Per aggiungere un nuovo gruppo di istanze, specifica un nuovo nome non presente nel cluster.
3. Per InstanceType
  1. Per aggiornare un gruppo di istanze esistente, è necessario che il tipo di istanza specificato all’inizio corrisponda al gruppo.
  2. Per aggiungere un nuovo gruppo di istanze, specifica il tipo di istanza con cui configurare il gruppo.
4. Per InstanceCount
  1. Per aggiornare un gruppo di istanze esistente, specifica un numero intero corrispondente al numero di istanze desiderato. Puoi fornire un valore più alto o più basso (fino a 0) per aumentare o ridurre verticalmente il gruppo di istanze.
  2. Per aggiungere un nuovo gruppo di istanze, specifica un numero intero maggiore o uguale a 1.
5. Per LifeCycleConfig, puoi modificare entrambi i valori SourceS3Uri e OnCreate per aggiornare il gruppo di istanze.
6. Per ExecutionRole
  1. Per aggiornare un gruppo di istanze esistente, continua a utilizzare lo stesso ruolo IAM collegato durante la creazione del cluster.
  2. Per aggiungere un nuovo gruppo di istanze, specifica un ruolo IAM da collegare.
7. Per ThreadsPerCore
  1. Per aggiornare un gruppo di istanze esistente, continua a utilizzare lo stesso valore specificato durante la creazione del cluster.
  2. Per aggiungere un nuovo gruppo di istanze, puoi scegliere qualsiasi valore tra le opzioni consentite dal tipo di istanza. Per ulteriori informazioni, cerca il tipo di istanza e consulta la colonna Thread validi per core nella tabella di riferimento in CPU cores and threads per CPU core per instance type in Amazon EC2 User Guide.
Puoi utilizzare il frammento di codice seguente, che corrisponde a un modello di file di richiesta JSON. Per ulteriori informazioni sulla sintassi e sui parametri della richiesta di questa API, consulta il riferimento alle UpdateCluster API.
```
// update_cluster.json
{
    // Required
    "ClusterName": "name-of-cluster-to-update",
    // Required
    "InstanceGroups": [
        {
            "InstanceGroupName": "name-of-instance-group-to-update",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            // Optional: Configure an additional storage per instance group.
            "InstanceStorageConfigs": [
                {
                   // Attach an additional EBS volume to each instance within the instance group.
                   // The default mount path for the additional EBS volume is /opt/sagemaker.
                   "EbsVolumeConfig":{
                      // Specify an integer between 1 and 16384 in gigabytes (GB).
                      "VolumeSizeInGB": integer,
                   }
                }
            ]
        },
        // add more blocks of instance groups as needed
        { ... }
    ]
}
```

Esegui il comando update-cluster per inviare la richiesta.


aws sagemaker update-cluster \
    --cli-input-json file://complete/path/to/update_cluster.json

Aggiorna il software della SageMaker HyperPod piattaforma di un cluster

Esegui update-cluster-software per aggiornare i cluster esistenti con il software e le patch di sicurezza fornite dal servizio. SageMaker HyperPod Per --cluster-name, specifica il nome o l’ARN del cluster da aggiornare.

Importante

Ricorda di eseguire il backup del tuo lavoro prima di applicare questa API. Il processo di applicazione delle patch sostituisce il volume root con l’AMI aggiornata, il che significa che i dati precedenti archiviati nel volume root dell’istanza andranno persi. Assicurati di eseguire il backup dei dati dal volume root dell’istanza su Amazon S3 o Amazon FSx per Lustre. Per ulteriori informazioni, consulta Utilizza lo script di backup fornito da SageMaker HyperPod.


aws sagemaker update-cluster-software --cluster-name your-hyperpod-cluster

Questo comando UpdateClusterSoftware chiama l'API. Dopo la chiamata all'API, SageMaker HyperPod controlla se è disponibile un DLAMI più recente per le istanze del cluster. Se è richiesto un aggiornamento DLAMI, SageMaker HyperPod aggiornerà le istanze del cluster per utilizzare gli script più recenti SageMaker HyperPod DLAMI ed eseguirà gli script del ciclo di vita nel bucket Amazon S3 specificato durante la creazione o l'aggiornamento del cluster. Se il cluster sta già utilizzando il DLAMI più recente, non apporterà alcuna modifica al cluster né SageMaker HyperPod eseguirà nuovamente gli script del ciclo di vita. Il team SageMaker HyperPod di assistenza pubblica regolarmente nuovi programmi per aumentare la sicurezza e migliorare l'esperienza SageMaker HyperPod DLAMI degli utenti. Ti consigliamo di continuare ad aggiornare sempre alla versione SageMaker HyperPod DLAMI più recente. Per i futuri aggiornamenti SageMaker HyperPod DLAMI per le patch di sicurezza, segui con. Note sulla SageMaker HyperPod versione di Amazon

Suggerimento

Se la patch di sicurezza non riesce, è possibile recuperare i messaggi di errore eseguendo l’API DescribeCluster come indicato in Descrizione di un cluster.

Nota

Puoi eseguire questa API solo in modo programmatico. La funzionalità di patching non è implementata nell'interfaccia utente della console. SageMaker HyperPod

Utilizza lo script di backup fornito da SageMaker HyperPod

SageMaker HyperPod fornisce uno script per il backup e il ripristino dei dati 1.architectures/5.sagemaker-hyperpod/patching-backup.sh nel GitHub repository Awsome Distributed Training. Lo script fornisce le funzioni seguenti.

Per eseguire il backup dei dati su un bucket S3 prima dell’applicazione delle patch


sudo bash patching-backup.sh --create <s3-buckup-bucket-path>

Dopo aver eseguito il comando, lo script verifica squeue per rilevare se ci sono processi in coda, arresta Slurm se non c’è alcun processo in coda, esegue il backup di mariadb e copia gli elementi locali sul disco definito in LOCAL_ITEMS. Puoi aggiungere altri file e directory a LOCAL_ITEMS.


# Define files and directories to back up.
LOCAL_ITEMS=(
    "/var/spool/slurmd"
    "/var/spool/slurmctld"
    "/etc/systemd/system/slurmctld.service"
    "/home/ubuntu/backup_slurm_acct_db.sql"
    # ... Add more items as needed
)

Inoltre, puoi aggiungere codice personalizzato allo script fornito per eseguire il backup di qualsiasi applicazione collegata al tuo caso d’uso.

Per ripristinare i dati da un bucket S3 dopo l’applicazione delle patch


sudo bash patching-backup.sh --restore <s3-buckup-bucket-path>

Riduzione verticale di un cluster

Puoi ridimensionare il numero di istanze o eliminare gruppi di istanze nel tuo SageMaker HyperPod cluster per ottimizzare l'allocazione delle risorse o ridurre i costi.

Puoi ridurre verticalmente le istanze con l’operazione API UpdateCluster per terminare in modo casuale le istanze dal gruppo di istanze fino a un numero specificato oppure puoi terminare istanze specifiche utilizzando l’operazione API BatchDeleteClusterNodes. Puoi anche rimuovere completamente interi gruppi di istanze utilizzando l’API UpdateCluster. Per ulteriori informazioni su come ridurre verticalmente le istanze con questi metodi, consulta Ridimensionamento di un cluster SageMaker HyperPod.

Nota

Non è possibile rimuovere le istanze configurate come nodi controller Slurm. Il tentativo di eliminare un nodo controller Slurm genera un errore di convalida con il codice di errore NODE_ID_IN_USE.

Eliminazione di un cluster

Esegui delete-cluster per eliminare un cluster. Puoi specificare il nome o l’ARN del cluster.


aws sagemaker delete-cluster --cluster-name your-hyperpod-cluster

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Utilizzo della console SageMaker

Script del ciclo di vita