View a markdown version of this page

Ottieni capacità di calcolo per i lavori SageMaker di formazione - Amazon SageMaker AI
Verifica la disponibilità delle istanzeVerifica le quote di servizioConfigura VPC e sottoretiOpzioni di capacità

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Ottieni capacità di calcolo per i lavori SageMaker di formazione

Prima di richiedere la capacità di calcolo, verifica che il tuo AWS account soddisfi i seguenti prerequisiti. Soddisfare questi requisiti in modo da evitare i comuni errori di provisioning.

Fase 1: verifica la disponibilità delle istanze nella tua regione

Non tutti i tipi di istanza sono disponibili in tutte le AWS regioni. Prima di selezionare un tipo di istanza per il carico di lavoro di formazione, verifica che sia disponibile nella regione di destinazione.

  • Per visualizzare la disponibilità e i prezzi delle istanze per regione, consulta SageMaker AI Pricing. Seleziona la scheda Formazione e scegli la tua regione per visualizzare i tipi di istanze disponibili, le specifiche e i prezzi orari.

Se il tipo di istanza non è disponibile nella tua regione:

  • Scegli un tipo di istanza alternativo disponibile nella tua regione. Per la GPU-accelerated formazione, identifica le famiglie di istanze con capacità di memoria e rete GPU comparabili.

  • Se il carico di lavoro richiede un tipo di istanza specifico e i requisiti di residenza e conformità dei dati lo consentono, valuta la possibilità di eseguire il processo di formazione in una regione diversa in cui quel tipo di istanza è disponibile. Assicurati che i tuoi dati di formazione siano accessibili dalla regione di destinazione o pianifica il trasferimento dei dati tra regioni.

Verifica la disponibilità delle istanze per zona di disponibilità

La disponibilità delle istanze varia anche in base alla zona di disponibilità all'interno di una regione. Un tipo di istanza offerto nella tua regione non è necessariamente disponibile in tutte le zone di disponibilità di quella regione. Ciò è importante quando si eseguono processi di formazione in un VPC privato, poiché le sottoreti specificate determinano quali zone di disponibilità l' SageMaker IA può utilizzare per il provisioning delle istanze. Per ulteriori informazioni, consulta Passaggio 3: configura il tuo VPC e le sottoreti (opzionale).

Per elencare le zone di disponibilità che offrono un tipo di istanza in una regione, utilizza l'API Amazon Elastic Compute Cloud: DescribeInstanceTypeOfferings

aws ec2 describe-instance-type-offerings \
    --location-type availability-zone \
    --filters Name=instance-type,Values=p5.48xlarge \
    --region us-east-1 \
    --query 'InstanceTypeOfferings[].Location' \
    --output table
Nota

Specifica il tipo di istanza Amazon Elastic Compute Cloud (p5.48xlarge), non il tipo di istanza SageMaker AI (ml.p5.48xlarge). SageMaker I tipi di istanza di formazione AI sono mappati al tipo di istanza Amazon Elastic Compute Cloud equivalente con il ml. prefisso rimosso.

Passaggio 2: verifica e richiedi le quote di servizio

Il tuo AWS account ha delle quote predefinite che limitano il numero di istanze che puoi utilizzare contemporaneamente per i Training Jobs. SageMaker Ogni tipo di istanza ha una propria quota.

  • Per visualizzare le quote correnti, apri la console Service Quotas e filtra in base al tipo di istanza che intendi utilizzare.

  • Se la tua quota non è sufficiente per il numero di istanze richieste dal tuo lavoro di formazione, richiedi un aumento della quota. Gli aumenti delle quote non sono immediati: invia la richiesta prima del periodo di formazione pianificato.

Suggerimento

Per i piani di formazione flessibili, la quota di servizio deve essere uguale o superiore al numero di istanze del piano. Per ulteriori informazioni, consulta Visualizza le quote dei piani di SageMaker formazione utilizzando AWS console di gestione.

Passaggio 3: configura il tuo VPC e le sottoreti (opzionale)

Questo passaggio si applica solo se esegui lavori di formazione in un VPC privato. Per impostazione predefinita, i SageMaker Training Jobs vengono eseguiti in un ambiente di SageMaker AI-managed rete e non richiedono la configurazione VPC. Se la tua organizzazione richiede attività di formazione per accedere alle risorse in un VPC privato, ad esempio dati archiviati in Amazon S3 tramite un endpoint VPC o file system, devi specificare Subnets e SecurityGroupIds nel parametro dell'VpcConfigAPI. CreateTrainingJob

Quando configuri un VPC, le sottoreti specificate determinano quali zone SageMaker di disponibilità l'IA può utilizzare per il provisioning delle istanze.

  • Fornisci sottoreti in più zone di disponibilità. SageMaker L'intelligenza artificiale fornisce istanze di formazione da pool per Availability-Zone capacità. L'inclusione di sottoreti in più zone di disponibilità aumenta il pool di capacità a cui l' SageMaker IA può attingere, il che aumenta la probabilità di successo del provisioning delle istanze e riduce i tempi di attesa. Se possibile, specifica le sottoreti in almeno tre zone di disponibilità.

    SageMaker L'intelligenza artificiale avvia comunque tutte le istanze per un determinato processo all'interno di una singola sottorete (una singola zona di disponibilità) per mantenerle fisicamente vicine e ridurre al minimo la latenza tra i nodi. Le sottoreti aggiuntive non fanno che ampliare le opzioni tra cui l'IA può scegliere. SageMaker Non distribuiscono le istanze di un lavoro tra le zone di disponibilità.

  • Per i piani di formazione flessibili, allinea le sottoreti alla tua capacità riservata. Ogni blocco di capacità riservata viene fornito in una zona di disponibilità specifica. È Subnets VpcConfig necessario includere le zone di disponibilità in cui vengono forniti i blocchi di capacità riservata. Per i piani con più blocchi che si estendono su diverse zone di disponibilità, includi sottoreti in tutte le zone pertinenti.

  • Allinea le fonti di dati con le zone di disponibilità delle istanze di formazione. Se i dati di training risiedono in un servizio di Availability-Zone-specific storage come Amazon EFS, verifica che il file system sia accessibile dalle stesse zone di disponibilità in cui verranno eseguite le istanze di training.

Scegli un'opzione di capacità

On-Demand Istanze

On-Demand è l'opzione di capacità predefinita per SageMaker Training Jobs. Le istanze vengono fornite all'inizio di un processo di formazione e rilasciate al termine. Paghi per secondo di elaborazione, senza alcun impegno iniziale per eseguire lavori ad hoc. La capacità richiesta per i lavori viene allocata nel miglior modo possibile, in base alla disponibilità nella regione al momento dell'invio del lavoro.

Se On-Demand la capacità non è disponibile per il tipo di istanza richiesto, il job di formazione entra in stato di attesa. È possibile configurare il periodo di attesa da 2 ore a 28 giorni impostandoMaxPendingTimeInSeconds. Se la capacità non diventa disponibile entro tale periodo, il processo fallisce con unInsufficientCapacityError.

Suggerimento

Per preservare la On-Demand capacità tra lavori di formazione consecutivi, abilita Managed Warm Pools. Le Warm Pools conservano le istanze assegnate dopo il completamento di un job, in modo che i job successivi riutilizzino le stesse istanze senza riacquisire capacità. Ciò è utile per carichi di lavoro iterativi come l'ottimizzazione degli iperparametri o il debug del training distribuito.

Managed Spot Training

Managed Spot Training utilizza la capacità di riserva di Amazon EC2 Spot con un risparmio sui costi fino al 90% rispetto ai On-Demand prezzi. SageMaker L'intelligenza artificiale gestisce il ciclo di vita di Spot, comprese le interruzioni e i riavvii automatici. Con Spot Training, i carichi di lavoro possono essere soggetti a interruzioni e si consigliano strategie di checkpoint per riprendere i lavori dall'ultimo stato salvato.

I pool di capacità Spot sono definiti per tipo di istanza e zona di disponibilità. Per massimizzare la disponibilità di Spot, specifica le sottoreti in più zone di disponibilità in. VpcConfig.Subnets Imposta StoppingCondition.MaxWaitTimeInSeconds per controllare per quanto tempo l' SageMaker IA attende la capacità di Spot prima di interrompere il lavoro.

Per ulteriori informazioni, consulta Formazione Spot gestita in Amazon SageMaker AI.

Piani di formazione flessibili

I piani di formazione flessibili consentono di prenotare in anticipo la capacità della GPU per una data e una durata specifiche. Prenotando la capacità, è possibile ottenere un accesso prevedibile ai tipi di istanze GPU più richiesti, pianificare e preventivare in anticipo i costi di formazione e trarre vantaggio dalla gestione automatizzata delle risorse e dalla tolleranza ai guasti. I prezzi dipendono dal tipo di istanza, dal numero di istanze, dalla durata della prenotazione e dalla data di inizio. Per visualizzare i prezzi per la tua configurazione specifica, utilizza l'SearchTrainingPlanOfferingsAPI o la console SageMaker AI. Per i tipi di istanze supportati, consultaPrenota piani di formazione flessibili per carichi di lavoro ML.

Prima di acquistare un piano, cerca le offerte di piani di formazione disponibili dalla console SageMaker AI nel tuo AWS account o utilizzando l'SearchTrainingPlanOfferingsAPI. Le offerte disponibili includono i tipi di istanze, le durate, i prezzi e le zone di disponibilità in cui viene fornita la capacità.

Nota

Per cercare e acquistare piani di formazione flessibili, la tua identità IAM deve disporre delle autorizzazioni appropriate, tra cui e. sagemaker:SearchTrainingPlanOfferings sagemaker:CreateTrainingPlan Per l'elenco completo delle azioni richieste, consulta Azioni definite da Amazon SageMaker.

Suggerimento

Se i tuoi processi di formazione vengono eseguiti in un VPC privato, ogni blocco di capacità riservata viene fornito in una specifica zona di disponibilità. È VpcConfig necessario includere le zone di disponibilità Subnets in cui vengono forniti i blocchi di capacità riservata. Per i piani con più blocchi che si estendono su diverse zone di disponibilità, includi sottoreti in tutte le zone pertinenti.

I piani di formazione flessibili supportano un set specifico di tipi di istanza e sono disponibili in alcune regioni. AWS Per le configurazioni supportate, consultaPrenota piani di formazione flessibili per carichi di lavoro ML. Per i prezzi, consulta la sezione Prezzi SageMaker AI.

Suggerimento

Per le best practice sui carichi di lavoro di formazione distribuiti con SageMaker Training Jobs, consulta Training large language models on Amazon SageMaker: best practice.