Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Addestramento utilizzando un cluster eterogeneo

Utilizzando la funzionalità di cluster eterogeneo di SageMaker Training, puoi eseguire un processo di formazione con più tipi di istanze di machine learning per una migliore scalabilità e utilizzo delle risorse per diverse attività e scopi di formazione ML. Ad esempio, se il processo di formazione su un cluster con GPU istanze presenta problemi di basso GPU utilizzo e CPU rallentamenti a causa di attività che richiedono un uso CPU intensivo, l'utilizzo di un cluster eterogeneo può contribuire a ridurre il carico delle attività ad CPU alta intensità aggiungendo gruppi di CPU istanze più convenienti, risolvere tali problemi e ottenere un GPU utilizzo migliore.

Come configurare un cluster eterogeneo

Questa sezione fornisce istruzioni su come eseguire un processo di addestramento utilizzando un cluster eterogeneo composto da più tipi di istanze.

Usare SageMaker Python SDK

Segui le istruzioni su come configurare i gruppi di istanze per un cluster eterogeneo usando Python. SageMaker SDK

Utilizzo del Low-Level SageMaker APIs

Se utilizzi AWS Command Line Interface o AWS SDK for Python (Boto3) e desideri utilizzare il livello basso SageMaker APIs per inviare una richiesta di lavoro di formazione con un cluster eterogeneo, consulta i seguenti riferimenti. API

Addestramento distribuito con un cluster eterogeneo

Tramite l'distributionargomento della classe SageMaker estimator, è possibile assegnare un gruppo di istanze specifico per eseguire l'addestramento distribuito. Ad esempio, supponiamo di avere i seguenti due gruppi di istanze e di voler eseguire un GPU training multiplo su uno di essi.

from sagemaker.instance_group import InstanceGroup

instance_group_1 = InstanceGroup("instance_group_1", "ml.c5.18xlarge", 1)
instance_group_2 = InstanceGroup("instance_group_2", "ml.p3dn.24xlarge", 2)

Puoi impostare la configurazione di addestramento distribuito per uno dei gruppi di istanze. Ad esempio, i seguenti esempi di codice mostrano come assegnare training_group_2 con due istanze ml.p3dn.24xlarge alla configurazione di addestramento distribuito.

Con MPI

PyTorch

from sagemaker.pytorch import PyTorch

estimator = PyTorch(
    ...
    instance_groups=[instance_group_1, instance_group_2],
    distribution={
        "mpi": {
            "enabled": True, "processes_per_host": 8
        },
        "instance_groups": [instance_group_2]
    }
)

TensorFlow

from sagemaker.tensorflow import TensorFlow

estimator = TensorFlow(
    ...
    instance_groups=[instance_group_1, instance_group_2],
    distribution={
        "mpi": {
            "enabled": True, "processes_per_host": 8
        },
        "instance_groups": [instance_group_2]
    }
)

Con la libreria SageMaker data parallel

PyTorch

from sagemaker.pytorch import PyTorch

estimator = PyTorch(
    ...
    instance_groups=[instance_group_1, instance_group_2],
    distribution={
        "smdistributed": {
            "dataparallel": {
                "enabled": True
            }
        }, 
        "instance_groups": [instance_group_2]
    }
)

TensorFlow

from sagemaker.tensorflow import TensorFlow

estimator = TensorFlow(
    ...
    instance_groups=[instance_group_1, instance_group_2],
    distribution={
        "smdistributed": {
            "dataparallel": {
                "enabled": True
            }
        }, 
        "instance_groups": [instance_group_2]
    }
)

Per ulteriori informazioni sulla libreria parallela di SageMaker dati, consulta SageMaker Data Parallel Training.

Con la libreria SageMaker model parallel

PyTorch

from sagemaker.pytorch import PyTorch

estimator = PyTorch(
    ...
    instance_groups=[instance_group_1, instance_group_2],
    distribution={
        "smdistributed": {
            "modelparallel": {
                "enabled":True,
                "parameters": {
                    ...   # SageMaker model parallel parameters
                } 
            }
        }, 
        "instance_groups": [instance_group_2]
    }
)

TensorFlow

from sagemaker.tensorflow import TensorFlow

estimator = TensorFlow(
    ...
    instance_groups=[instance_group_1, instance_group_2],
    distribution={
        "smdistributed": {
            "modelparallel": {
                "enabled":True,
                "parameters": {
                    ...   # SageMaker model parallel parameters
                } 
            }
        }, 
        "instance_groups": [instance_group_2]
    }
)

Per ulteriori informazioni sulla libreria parallela del SageMaker modello, vedere SageMaker Model Parallel Training.

Modifica lo script di addestramento per assegnare gruppi di istanze

Con la configurazione eterogenea del cluster illustrata nelle sezioni precedenti, avete preparato l'ambiente e le istanze di SageMaker formazione per il vostro lavoro di formazione. Per assegnare ulteriormente i gruppi di istanze a determinati processi di addestramento ed elaborazione dei dati, la fase successiva consiste nel modificare lo script di addestramento. Per impostazione predefinita, il processo di addestramento crea semplicemente repliche degli script di addestramento per tutti i nodi indipendentemente dalla dimensione dell'istanza, e ciò potrebbe comportare una perdita di prestazioni.

Ad esempio, se mescoli CPU istanze e GPU istanze in un cluster eterogeneo mentre passi uno script di addestramento della rete neurale profonda all'entry_pointargomento dello estimatore, lo script viene replicato su ogni istanza. SageMaker entry_point Ciò significa che, senza un'adeguata assegnazione delle attività, CPU le istanze eseguono anche l'intero script e avviano il processo di formazione progettato per la formazione distribuita sulle istanze. GPU Pertanto, è necessario apportare modifiche alle funzioni di elaborazione specifiche che si desidera scaricare ed eseguire sulle istanze. CPU È possibile utilizzare le variabili di SageMaker ambiente per recuperare le informazioni del cluster eterogeneo e consentire l'esecuzione di processi specifici di conseguenza.

Interroga le informazioni sul gruppo di istanze durante la fase di inizializzazione di un processo di formazione SageMaker

All'inizio del processo di formazione, lo script di formazione legge le informazioni sull'ambiente di SageMaker formazione che includono la configurazione eterogenea del cluster. La configurazione contiene informazioni come i gruppi di istanze correnti, gli host correnti di ciascun gruppo e in quale gruppo risiede l'host corrente.

Puoi recuperare informazioni sul gruppo di istanze nei modi seguenti.

(Consigliato) Leggere le informazioni sui gruppi di istanze con il toolkit di formazione SageMaker

Usa il modulo di ambiente Python fornito dalla libreria di toolkit SageMaker di formazione. La libreria del toolkit è preinstallata nei contenitori del SageMaker framework per TensorFlow and PyTorch, quindi non è necessaria una fase di installazione aggiuntiva quando si utilizzano i contenitori predefiniti. Questo è il metodo consigliato per recuperare le variabili di SageMaker ambiente con un minor numero di modifiche al codice nello script di addestramento.

from sagemaker_training import environment

env = environment.Environment()

Variabili di ambiente relative alla SageMaker formazione generale e ai cluster eterogenei:

Ad esempio, si consideri il seguente esempio di cluster eterogeneo costituito da due gruppi di istanze.

from sagemaker.instance_group import InstanceGroup

instance_group_1 = InstanceGroup(
    "instance_group_1", "ml.c5.18xlarge", 1)
instance_group_2 = InstanceGroup(
    "instance_group_2", "ml.p3dn.24xlarge", 2)

L'output di env.instance_groups_dict del cluster eterogeneo di esempio deve essere simile al seguente.

{
    "instance_group_1": {
        "hosts": [
            "algo-2"
        ],
        "instance_group_name": "instance_group_1",
        "instance_type": "ml.c5.18xlarge"
    },
    "instance_group_2": {
        "hosts": [
            "algo-3",
            "algo-1"
        ],
        "instance_group_name": "instance_group_2",
        "instance_type": "ml.p3dn.24xlarge"
    }
}

(Facoltativo) Lettura delle informazioni sul gruppo di istanze dal file di configurazione JSON delle risorse

Se si preferisce recuperare le variabili di ambiente in JSON formato, è possibile utilizzare direttamente il JSON file di configurazione delle risorse. Per impostazione predefinita, il JSON file in un'istanza di SageMaker formazione si trova /opt/ml/input/config/resourceconfig.json in.

file_path = '/opt/ml/input/config/resourceconfig.json'
config = read_file_as_json(file_path)
print(json.dumps(config, indent=4, sort_keys=True))

Considerazioni

Considera i seguenti elementi durante l'utilizzo della funzionalità di cluster eterogeneo.

Esempi, blog e casi di studio

Il seguente blog illustra i casi di studio sull'utilizzo della formazione su cluster SageMaker eterogenei.