Prerequisiti per l'utilizzo di SageMaker HyperPod - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Prerequisiti per l'utilizzo di SageMaker HyperPod

Le seguenti sezioni illustrano i prerequisiti prima di iniziare. SageMaker HyperPod

SageMaker HyperPod quote

È possibile creare SageMaker HyperPod cluster in base alle quote di utilizzo del cluster nel AWS conto.

Importante

Per ulteriori informazioni sui SageMaker HyperPod prezzi, consulta la pagina SageMaker HyperPod prezzi e SageMaker i prezzi di Amazon.

Visualizza le SageMaker HyperPod quote Amazon utilizzando AWS Console di gestione

Cerca i valori predefiniti e applicati di una quota, nota anche come limite, per l'utilizzo del cluster, utilizzata per SageMaker HyperPod.

  1. Aprire Service Quotas console.

  2. Nel riquadro di navigazione a sinistra, scegli AWS servizi.

  3. Dalla AWS elenco dei servizi, cerca e seleziona Amazon SageMaker.

  4. Nell'elenco delle quote di servizio, puoi visualizzare il nome della quota di servizio, il valore applicato (se disponibile), AWS quota predefinita e se il valore della quota è regolabile.

  5. Nella barra di ricerca, digita l'utilizzo del cluster. Questo mostra le quote per l'utilizzo del cluster, le quote applicate e le quote predefinite.

Richiesta di SageMaker HyperPod quote Amazon utilizzando il AWS Console di gestione

Aumenta le tue quote a livello di account o di risorsa.

  1. Per aumentare la quota di istanze per l'utilizzo del cluster, seleziona la quota che desideri aumentare.

  2. Se la quota è regolabile, puoi richiedere un aumento della quota a livello di account o di risorsa in base al valore elencato nella colonna Adattabilità.

  3. Per Aumentare il valore della quota, inserisci il nuovo valore. Questo valore deve essere maggiore di quello corrente.

  4. Scegli Richiedi.

  5. Per visualizzare le richieste in sospeso o risolte di recente nella console, vai alla scheda Cronologia delle richieste dalla pagina dei dettagli del servizio o scegli Dashboard dal pannello di navigazione. Per le richieste in sospeso, scegliere lo stato della richiesta per aprire la ricevuta della richiesta. Lo stato iniziale di una richiesta è Pending (In attesa). Dopo che lo stato è cambiato in Quota richiesta, viene visualizzato il numero del caso con AWS Support. Scegli il numero del caso per aprire il ticket relativo alla tua richiesta.

Per ulteriori informazioni sulla richiesta di un aumento della quota in generale, consulta Richiesta di un aumento della quota nel AWS Guida per l'utente di Service Quotas.

Configurazione SageMaker HyperPod con Amazon VPC

Per configurare un SageMaker HyperPod cluster con AmazonVPC, controlla i seguenti elementi.

Nota

È necessario per l'orchestrazione con EKS ed è necessario utilizzarlo VPC per il HyperPod cluster. Per l'orchestrazione con Slurm, la configurazione personalizzata è facoltativa. VPC

  • Se vuoi usare il tuo per connetterti con VPC SageMaker HyperPod AWS alle risorse presenti nel tuo accountVPC, devi fornire il VPC nome, l'ID, Regione AWS, ID di sottorete e ID del gruppo di sicurezza al momento della creazione SageMaker HyperPod. Se desideri crearne uno nuovoVPC, consulta Create a default VPC o Create a VPC nella Amazon Virtual Private Cloud User Guide.

  • È importante creare tutte le risorse in un'unica soluzione Regione AWS e Availability Zone, e configura le regole dei gruppi di sicurezza per consentire la connessione tra le risorse del tuoVPC. Ad esempio, supponiamo di creare un VPC inus-west-2. È necessario creare una sottorete VPC in questa zona us-west-2a di disponibilità e creare un gruppo di sicurezza che consenta tutto il traffico in entrata (in entrata) dall'interno del gruppo di sicurezza e tutto il traffico in uscita.

  • È inoltre necessario assicurarsi di disporre di una connessione a VPC Amazon Simple Storage Service (Amazon S3). Se configuri unVPC, i gruppi di SageMaker HyperPod istanze non hanno accesso a Internet e pertanto non possono connettersi ad Amazon S3 per accedere o archiviare file come script del ciclo di vita, dati di addestramento e artefatti del modello. Per stabilire una connessione con Amazon S3 durante l'utilizzoVPC, è necessario creare un VPC endpoint. Creando un VPC endpoint, puoi consentire ai gruppi di SageMaker HyperPod istanze di accedere ai bucket Amazon S3 all'interno dello stesso. VPC Ti consigliamo anche di creare una policy personalizzata che consenta solo alle richieste provenienti dal tuo account privato di accedere VPC ai tuoi bucket Amazon S3. Per ulteriori informazioni, consulta Endpoints for Amazon S3 nel AWS PrivateLink Guida.

  • Se desideri creare un HyperPod cluster con istanze EFA abilitate, assicurati di configurare un gruppo di sicurezza per consentire tutto il traffico in entrata e in uscita da e verso il gruppo di sicurezza stesso. Per ulteriori informazioni, consulta la Fase 1: Preparare un gruppo di sicurezza EFA abilitato nella Amazon EC2 User Guide.

Configurazione AWS Systems Manager e Run As per il controllo degli accessi degli utenti del cluster

SageMaker HyperPod DLAMIviene fornito con AWS Systems Manager(SSM) pronto all'uso per aiutarti a gestire l'accesso ai tuoi gruppi di istanze SageMaker HyperPod del cluster. Questa sezione descrive come creare utenti del sistema operativo (OS) nei SageMaker HyperPod cluster e associarli a IAM utenti e ruoli. Ciò è utile per autenticare SSM le sessioni utilizzando le credenziali dell'account utente del sistema operativo.

Abilitare Run As nel AWS account

In qualità di AWS amministratore di account o amministratore cloud, puoi gestire l'accesso ai SageMaker HyperPod cluster a livello di IAM ruolo o utente utilizzando la funzionalità RunAs in SSM. Con questa funzionalità, puoi avviare ogni SSM sessione utilizzando l'utente del sistema operativo associato al IAM ruolo o all'utente.

Per abilitare Run As nel tuo AWS account, segui la procedura descritta in Attivare il supporto RunAs per i nodi gestiti Linux e macOS. Se hai già creato utenti del sistema operativo nel tuo cluster, assicurati di associarli a IAM ruoli o utenti taggandoli come indicato nell'Opzione 2 del passaggio 5 in Attivare il supporto RunAs per i nodi gestiti Linux e macOS.

(Slurm) Configurazione degli utenti Linux utilizzando un FSx file system Amazon collegato SageMaker HyperPod come spazio condiviso

Per completare la configurazione degli utenti del cluster per l'accesso a un HyperPod cluster SSM e a uno spazio condiviso, è necessario configurare uno script per aggiungere utenti durante la preparazione degli script di configurazione del ciclo di vita per la creazione di un cluster. HyperPod Nel GitHub repository introdotto nella sezioneInizia con gli script del ciclo di vita di base forniti da HyperPod, c'è uno script denominato add_users.sh che legge i dati degli utenti da. shared_users.txt Tieni presente che dovrai caricare i due file come parte della preparazione e del caricamento degli script del ciclo di vita su un bucket Amazon S3, come illustrato nella sezione e nella sezione. Guida introduttiva all'orchestrazione con Slurm SageMaker HyperPod Configura un ambiente multiutente tramite lo spazio condiviso Amazon FSx

(Facoltativo) Configurazione SageMaker HyperPod con Amazon FSx for Lustre

Per iniziare a utilizzare SageMaker HyperPod e mappare i percorsi di dati tra il cluster e il tuo file system FSx for Lustre, seleziona uno dei Regioni AWS supportato da. SageMaker HyperPod Dopo aver scelto il Regione AWS si preferisce, inoltre, determinare quale zona di disponibilità (AZ) utilizzare. Se utilizzate nodi di SageMaker HyperPod calcolo AZs diversi da quelli in AZs cui è configurato il sistema file FSx for Lustre all'interno dello stesso Regione AWS, potrebbe esserci un sovraccarico di comunicazione e di rete. Si consiglia di utilizzare la stessa AZ fisica utilizzata per l'account di SageMaker HyperPod servizio per evitare il traffico cross-AZ tra SageMaker HyperPod i cluster e il file system FSx for Lustre. Inoltre, assicurati di averlo configurato con il tuo. VPC Se desideri utilizzare Amazon FSx come file system principale per lo storage, devi configurare SageMaker HyperPod i cluster conVPC.