PyTorch Utilizzo degli stimatori e SageMaker TensorFlow Estendi un contenitore Docker predefinito che contiene la libreria parallela SageMaker di modelli distribuiti Creazione di un container Docker con la libreria

Fase 2: Avviare un Job di formazione utilizzando SageMaker Python SDK

SageMaker Python SDK supporta l'addestramento gestito di modelli con framework ML come e. TensorFlow PyTorch Per avviare un processo di formazione utilizzando uno di questi framework, è necessario definire uno stimatore, uno estimatore o un SageMaker TensorFlow Estimator SageMaker generico per utilizzare lo SageMaker PyTorch script di addestramento modificato e la configurazione del parallelismo del modello.

Argomenti

PyTorch Utilizzo degli stimatori e SageMaker TensorFlow
Estendi un contenitore Docker predefinito che contiene la libreria parallela SageMaker di modelli distribuiti
Crea il tuo contenitore Docker con la Distributed Model Parallel Library SageMaker

PyTorch Utilizzo degli stimatori e SageMaker TensorFlow

Le classi TensorFlow and PyTorch estimator contengono il distribution parametro, che è possibile utilizzare per specificare i parametri di configurazione per l'utilizzo di framework di formazione distribuiti. La libreria SageMaker model parallel utilizza internamente i dati MPI ibridi e il parallelismo dei modelli, quindi è necessario utilizzare l'MPIopzione con la libreria.

Il seguente modello di PyTorch estimatore TensorFlow or mostra come configurare il distribution parametro per l'utilizzo della libreria SageMaker model parallel conMPI.

Using the SageMaker TensorFlow estimator


import sagemaker
from sagemaker.tensorflow import TensorFlow

smp_options = {
    "enabled":True,              # Required
    "parameters": {
        "partitions": 2,         # Required
        "microbatches": 4,
        "placement_strategy": "spread",
        "pipeline": "interleaved",
        "optimize": "speed",
        "horovod": True,         # Use this for hybrid model and data parallelism
    }
}

mpi_options = {
    "enabled" : True,            # Required
    "processes_per_host" : 8,    # Required
    # "custom_mpi_options" : "--mca btl_vader_single_copy_mechanism none"
}

smd_mp_estimator = TensorFlow(
    entry_point="your_training_script.py", # Specify your train script
    source_dir="location_to_your_script",
    role=sagemaker.get_execution_role(),
    instance_count=1,
    instance_type='ml.p3.16xlarge',
    framework_version='2.6.3',
    py_version='py38',
    distribution={
        "smdistributed": {"modelparallel": smp_options},
        "mpi": mpi_options
    },
    base_job_name="SMD-MP-demo",
)

smd_mp_estimator.fit('s3://my_bucket/my_training_data/')

Using the SageMaker PyTorch estimator


import sagemaker
from sagemaker.pytorch import PyTorch

smp_options = {
    "enabled":True,
    "parameters": {                        # Required
        "pipeline_parallel_degree": 2,     # Required
        "microbatches": 4,
        "placement_strategy": "spread",
        "pipeline": "interleaved",
        "optimize": "speed",
        "ddp": True,
    }
}

mpi_options = {
    "enabled" : True,                      # Required
    "processes_per_host" : 8,              # Required
    # "custom_mpi_options" : "--mca btl_vader_single_copy_mechanism none"
}

smd_mp_estimator = PyTorch(
    entry_point="your_training_script.py", # Specify your train script
    source_dir="location_to_your_script",
    role=sagemaker.get_execution_role(),
    instance_count=1,
    instance_type='ml.p3.16xlarge',
    framework_version='1.13.1',
    py_version='py38',
    distribution={
        "smdistributed": {"modelparallel": smp_options},
        "mpi": mpi_options
    },
    base_job_name="SMD-MP-demo",
)

smd_mp_estimator.fit('s3://my_bucket/my_training_data/')

Per abilitare la libreria, è necessario passare i dizionari di configurazione alle "mpi" chiavi "smdistributed" and tramite l'distributionargomento dei costruttori dello SageMaker estimatore.

Parametri di configurazione per il parallelismo dei modelli SageMaker

Per la chiave "smdistributed", passa un dizionario con la chiave "modelparallel" e i seguenti dizionari interni.

Nota
L'utilizzo di "modelparallel" e "dataparallel" in un unico processo di addestramento non è supportato.
- "enabled": obbligatorio Per abilitare il parallelismo dei modelli, imposta "enabled": True.
- "parameters": obbligatorio Specificate un set di parametri per il parallelismo del SageMaker modello.
  - Per un elenco completo dei parametri comuni, vedere Parameters for smdistributed nella documentazione di SageMaker Python SDK.
    
    Per TensorFlow, vedi TensorFlow-specific Parameters.
    
    Per PyTorch, vedi PyTorch-specific Parameters.
  - "pipeline_parallel_degree" (o "partitions" in smdistributed-modelparallel<v1.6.0): obbligatorio. Tra i parametri per smdistributed, questo parametro è necessario per specificare in quante partizioni del modello desideri suddividere.
    
    Importante
    C'è una modifica che causerà interruzioni nel nome del parametro. Il parametro "pipeline_parallel_degree" sostituisce le "partitions" dal smdistributed-modelparallel v1.6.0. Per ulteriori informazioni, vedere Parametri comuni per la configurazione SageMaker del parallelismo del modello e SageMaker Distributed Model Parallel Release Notes nella documentazione di PythonSageMaker . SDK
Per la chiave, passa un dizionario che contenga quanto segue "mpi":
- "enabled": obbligatorio Imposta True per avviare il processo di formazione distribuito con. MPI
- "processes_per_host": obbligatorio Specificate il numero di processi MPI da avviare su ciascun host. Nell' SageMaker intelligenza artificiale, un host è una singola istanza Amazon EC2 ML. SageMaker Python SDK mantiene una one-to-one mappatura tra i processi e il parallelismo GPUs tra modelli e dati. Ciò significa che l' SageMaker IA pianifica ogni processo su un unico processo separato GPU e non GPU contiene più di un processo. Se si utilizza PyTorch, è necessario limitare ogni processo al proprio dispositivo tramitetorch.cuda.set_device(smp.local_rank()). Per ulteriori informazioni, consulta Divisione automatica con PyTorch.
  
  Importante
  process_per_hostnon deve essere maggiore del numero di GPUs istanze e in genere sarà uguale al numero di GPUs per istanza.
- "custom_mpi_options"(opzionale): utilizza questo tasto per passare le MPI opzioni personalizzate di cui potresti aver bisogno. Se non passate alcuna opzione MPI personalizzata alla chiave, l'MPIopzione è impostata di default sul seguente flag.
```
--mca btl_vader_single_copy_mechanism none
```
  Nota
  Non è necessario specificare esplicitamente questo flag predefinito sulla chiave. Se lo specifichi in modo esplicito, il processo di addestramento parallelo del modello distribuito potrebbe fallire con il seguente errore:
  The following MCA parameter has been listed multiple times on the command line: MCA param: btl_vader_single_copy_mechanism MCA parameters can only be listed once on a command line to ensure there is no ambiguity as to its value. Please correct the situation and try again.
  Suggerimento
  Se avviate un processo di formazione utilizzando un tipo EFA di istanza abilitato, ad esempio ml.p4d.24xlarge andml.p3dn.24xlarge, utilizzate il seguente flag per ottenere prestazioni ottimali:
  -x FI_EFA_USE_DEVICE_RDMA=1 -x FI_PROVIDER=efa -x RDMAV_FORK_SAFE=1

Per avviare il processo di formazione utilizzando lo stimatore e lo script di addestramento con configurazione parallela del SageMaker modello, esegui la estimator.fit() funzione.

Usa le seguenti risorse per saperne di più sull'uso delle funzionalità di parallelismo dei modelli in Python SageMaker : SDK

Ti consigliamo di utilizzare un'istanza SageMaker notebook se sei un nuovo utente. Per vedere un esempio di come è possibile avviare un processo di formazione utilizzando un'istanza di SageMaker notebook, consultaEsempi di Amazon SageMaker AI Model Parallelism Library v2.
Puoi inoltre inviare un processo di addestramento distribuito dal tuo computer utilizzando AWS CLI. Per eseguire la configurazione AWS CLI sul computer, consulta Configurazione AWS delle credenziali e Regione per lo sviluppo.

Estendi un contenitore Docker predefinito che contiene la libreria parallela SageMaker di modelli distribuiti

Per estendere un contenitore predefinito e utilizzare la libreria SageMaker di parallelismo dei modelli, devi utilizzare una delle immagini AWS Deep Learning Containers (DLC) disponibili per o. PyTorch TensorFlow La libreria di parallelismo dei SageMaker modelli è inclusa nelle immagini TensorFlow (2.3.0 e successive) e (1.6.0 e successive) con PyTorch (). DLC CUDA cuxyz Per un elenco completo delle DLC immagini, consulta Immagini dei Deep Learning Containers disponibili nel GitHub repository AWS Deep Learning Containers.

Suggerimento

Ti consigliamo di utilizzare l'immagine che contiene la versione più recente TensorFlow o di accedere PyTorch alla maggior parte delle up-to-date versioni della libreria di parallelismo dei SageMaker modelli.

Ad esempio, il Dockerfile deve contenere un'istruzione FROM simile alla seguente:


# Use the SageMaker DLC image URI for TensorFlow or PyTorch
FROM aws-dlc-account-id.dkr.ecr.aws-region.amazonaws.com/framework-training:{framework-version-tag}

# Add your dependencies here
RUN ...

ENV PATH="/opt/ml/code:${PATH}"

# this environment variable is used by the SageMaker AI container to determine our user code directory.
ENV SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/code

Inoltre, quando si definisce uno PyTorch TensorFlow stimatore OR, è necessario specificarlo entry_point per lo script di addestramento. Questo deve essere lo stesso percorso identificato con ENV SAGEMAKER_SUBMIT_DIRECTORY nel Dockerfile.

Suggerimento

È necessario inviare questo contenitore Docker ad Amazon Elastic Container Registry (AmazonECR) e utilizzare l'immagine URI (image_uri) per definire uno SageMaker stimatore per la formazione. Per ulteriori informazioni, consulta Estensione di un container predefinito.

Dopo aver completato l'hosting del contenitore Docker e aver recuperato l'immagine URI del contenitore, crea un SageMaker PyTorch oggetto estimatore come segue. Questo esempio presuppone che tu abbia già definito smp_options e mpi_options.


smd_mp_estimator = Estimator(
    entry_point="your_training_script.py",
    role=sagemaker.get_execution_role(),
    instance_type='ml.p3.16xlarge',
    sagemaker_session=sagemaker_session,
    image_uri='your_aws_account_id.dkr.ecr.region.amazonaws.com/name:tag'
    instance_count=1,
    distribution={
        "smdistributed": smp_options,
        "mpi": mpi_options
    },
    base_job_name="SMD-MP-demo",
)

smd_mp_estimator.fit('s3://my_bucket/my_training_data/')

Crea il tuo contenitore Docker con la Distributed Model Parallel Library SageMaker

Per creare il tuo contenitore Docker per l'addestramento e utilizzare la libreria parallela del SageMaker modello, devi includere le dipendenze corrette e i file binari delle librerie SageMaker parallele distribuite nel tuo Dockerfile. Questa sezione fornisce il set minimo di blocchi di codice da includere per preparare correttamente un ambiente di SageMaker formazione e la libreria parallela del modello nel proprio contenitore Docker.

Nota

Questa opzione Docker personalizzata con la libreria parallel del SageMaker modello come binario è disponibile solo per PyTorch.

Per creare un Dockerfile con il toolkit di SageMaker formazione e la libreria parallela del modello

Inizia con una delle immagini di base. NVIDIA CUDA
```
FROM <cuda-cudnn-base-image>
```
Suggerimento
Le immagini ufficiali di AWS Deep Learning Container (DLC) sono create a partire dalle immagini di NVIDIA CUDA base. Ti consigliamo di consultare i Dockerfile ufficiali di AWS Deep Learning Container PyTorch per scoprire quali versioni delle librerie devi installare e come configurarle. I Dockerfile ufficiali sono completi, testati con benchmark e gestiti dai team di assistenza e di Deep Learning SageMaker Container. Nel link fornito, scegli la PyTorch versione che usi, scegli la cartella CUDA (cuxyz) e scegli il Dockerfile che termina con o. .gpu .sagemaker.gpu
Per configurare un ambiente di formazione distribuito, devi installare software per dispositivi di comunicazione e di rete, come Elastic Fabric Adapter (EFA), NVIDIACollective Communications Library (NCCL) e Open. MPI A seconda delle CUDA versioni PyTorch e scelte, è necessario installare versioni compatibili delle librerie.

Importante
Poiché la libreria parallela del SageMaker modello richiede la libreria parallela SageMaker dei dati nei passaggi successivi, ti consigliamo vivamente di seguire le istruzioni riportate Crea il tuo contenitore Docker con la libreria parallela di dati distribuiti SageMaker AI per configurare correttamente un ambiente di SageMaker formazione per la formazione distribuita.

Per ulteriori informazioni sulla configurazione EFA con NCCL e OpenMPI, consulta Guida introduttiva a EFA and MPI e Guida introduttiva a EFA and NCCL.

Aggiungete i seguenti argomenti per specificare i pacchetti URLs di formazione SageMaker distribuiti per PyTorch. La libreria parallela del SageMaker modello richiede che la libreria parallela SageMaker dei dati utilizzi il Remote Direct Memory Access (RDMA) tra nodi.


ARG SMD_MODEL_PARALLEL_URL=https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/pytorch-1.10.0/build-artifacts/2022-02-21-19-26/smdistributed_modelparallel-1.7.0-cp38-cp38-linux_x86_64.whl
ARG SMDATAPARALLEL_BINARY=https://smdataparallel.s3.amazonaws.com/binary/pytorch/1.10.2/cu113/2022-02-18/smdistributed_dataparallel-1.4.0-cp38-cp38-linux_x86_64.whl

Installa le dipendenze richieste dalla libreria parallela del SageMaker modello.

Installare la libreria METIS.


ARG METIS=metis-5.1.0

RUN rm /etc/apt/sources.list.d/* \
  && wget -nv http://glaros.dtc.umn.edu/gkhome/fetch/sw/metis/${METIS}.tar.gz \
  && gunzip -f ${METIS}.tar.gz \
  && tar -xvf ${METIS}.tar \
  && cd ${METIS} \
  && apt-get update \
  && make config shared=1 \
  && make install \
  && cd .. \
  && rm -rf ${METIS}.tar* \
  && rm -rf ${METIS} \
  && rm -rf /var/lib/apt/lists/* \
  && apt-get clean

Installa la libreria RAPIDS Memory Manager. Ciò richiede la versione CMake3.14 o successiva.


ARG RMM_VERSION=0.15.0

RUN  wget -nv https://github.com/rapidsai/rmm/archive/v${RMM_VERSION}.tar.gz \
  && tar -xvf v${RMM_VERSION}.tar.gz \
  && cd rmm-${RMM_VERSION} \
  && INSTALL_PREFIX=/usr/local ./build.sh librmm \
  && cd .. \
  && rm -rf v${RMM_VERSION}.tar* \
  && rm -rf rmm-${RMM_VERSION}

Installa la libreria parallela del SageMaker modello.


RUN pip install --no-cache-dir -U ${SMD_MODEL_PARALLEL_URL}

Installa la libreria SageMaker data parallel.


RUN SMDATAPARALLEL_PT=1 pip install --no-cache-dir ${SMDATAPARALLEL_BINARY}

Installa il toolkit di addestramento sagemaker. Il toolkit contiene le funzionalità comuni necessarie per creare un contenitore compatibile con la piattaforma di SageMaker formazione e SageMaker PythonSDK.
```
RUN pip install sagemaker-training
```
Dopo aver finito di creare il Dockerfile, consulta Adapting Your Own Training Container per scoprire come creare il contenitore Docker e ospitarlo in Amazon. ECR

Suggerimento

Per informazioni più generali sulla creazione di un Dockerfile personalizzato per l'addestramento nell' SageMaker intelligenza artificiale, consulta Use Your Own Training Algorithms.

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

PyTorch

Checkpoint e ottimizzazione di un modello con il parallelismo dei modelli

Fase 2: Avviare un Job di formazione utilizzando SageMaker Python SDK

Argomenti

PyTorch Utilizzo degli stimatori e SageMaker TensorFlow

Parametri di configurazione per il parallelismo dei modelli SageMaker

Nota

Importante

Importante

Nota

Suggerimento

Estendi un contenitore Docker predefinito che contiene la libreria parallela SageMaker di modelli distribuiti

Suggerimento

Suggerimento

Crea il tuo contenitore Docker con la Distributed Model Parallel Library SageMaker

Nota

Per creare un Dockerfile con il toolkit di SageMaker formazione e la libreria parallela del modello

Suggerimento

Importante

Suggerimento