View a markdown version of this page

Verwenden Sie die PyTorch Framework-Schätzer im SageMaker Python-SDK - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie die PyTorch Framework-Schätzer im SageMaker Python-SDK

Sie können ein verteiltes Training starten, indem Sie das distribution Argument zum SageMaker PyTorch KI-Framework-Schätzer hinzufügen. Die SMDDP-Bibliothek ( SageMaker AI Distributed Data Parallelism) unterstützt verteiltes Training. PyTorch

Anmerkung

SMDDP hat die Unterstützung nach Version 2.11.0 eingestellt. TensorFlow Verwenden Sie für verteiltes Training mit alternative TensorFlow Verteilungsstrategien.

Für den Start PyTorch verteilter Schulungen stehen die folgenden Startoptionen zur Verfügung.

  • pytorchddp— Diese Option führt Umgebungsvariablen aus mpirun und richtet sie ein, die für die Durchführung von PyTorch verteiltem Training auf SageMaker KI erforderlich sind. Um diese Option zu verwenden, übergeben Sie das folgende Wörterbuch an den Parameter distribution.

    { "pytorchddp": { "enabled": True } }

  • torch_distributed— Diese Option führt Umgebungsvariablen aus torchrun und richtet sie ein, die für die Durchführung eines PyTorch verteilten SageMaker KI-Trainings erforderlich sind. Um diese Option zu verwenden, übergeben Sie das folgende Wörterbuch an den Parameter distribution.

    { "torch_distributed": { "enabled": True } }

  • smdistributed— Diese Option wird ebenfalls ausgeführtsmddprun, richtet mpirun aber damit Umgebungsvariablen ein, die für die Durchführung von PyTorch verteiltem Training auf SageMaker KI erforderlich sind.

    { "smdistributed": { "dataparallel": { "enabled": True } } }

Wenn Sie NCCL AllGather durch SMDDP AllGather ersetzen möchten, können Sie alle drei Optionen verwenden. Wählen Sie eine Option aus, die zu Ihrem Anwendungsfall passt.

Wenn Sie NCCL AllReduce durch SMDDP AllReduce ersetzen möchten, sollten Sie eine der mpirun-basierten Optionen wählen: smdistributed oder pytorchddp. Sie können auch zusätzliche MPI-Optionen hinzufügen.

{ 
    "pytorchddp": {
        "enabled": True, 
        "custom_mpi_options": "-verbose -x NCCL_DEBUG=VERSION"
    }
}
{ 
    "smdistributed": { 
        "dataparallel": {
            "enabled": True, 
            "custom_mpi_options": "-verbose -x NCCL_DEBUG=VERSION"
        }
    }
}

Das folgende Codebeispiel zeigt die grundlegende Struktur von a ModelTrainer mit verteilten Trainingsoptionen.

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import SourceCode, Compute, InputData
from sagemaker.core import image_uris

# Retrieve the training image for the desired PyTorch version
training_image = image_uris.retrieve(
    framework="pytorch",
    region="us-west-2",
    version="2.0.1",
    py_version="py310",
    instance_type="ml.p4d.24xlarge",
    image_scope="training"
)

source_code = SourceCode(
    source_dir="subdirectory-to-your-code",
    entry_script="adapted-training-script.py"
)

compute = Compute(
    # For running a multi-node distributed training job, specify a value greater than 1
    # Example: 2,3,4,..8
    instance_count=2,

    # Instance types supported by the SageMaker AI data parallel library: 
    # ml.p4d.24xlarge, ml.p4de.24xlarge
    instance_type="ml.p4d.24xlarge"
)

pt_model_trainer = ModelTrainer(
    training_image=training_image,
    base_job_name="training_job_name_prefix",
    source_code=source_code,
    role="SageMakerRole",
    compute=compute,

    # Activate distributed training with SMDDP
    distribution={ "pytorchddp": { "enabled": True } }  # mpirun, activates SMDDP AllReduce OR AllGather
    # distribution={ "torch_distributed": { "enabled": True } }  # torchrun, activates SMDDP AllGather
    # distribution={ "smdistributed": { "dataparallel": { "enabled": True } } }  # mpirun, activates SMDDP AllReduce OR AllGather
)

pt_model_trainer.train(input_data_config=[
    InputData(channel_name="training", data_source="s3://bucket/path/to/training/data")
])
Anmerkung

PyTorch Lightning und seine Dienstprogrammbibliotheken wie Lightning Bolts sind in den SageMaker PyTorch AI-DLCs nicht vorinstalliert. Erstellen Sie die folgende requirements.txt Datei und speichern Sie sie in dem Quellverzeichnis, in dem Sie das Trainingsskript speichern.

# requirements.txt
pytorch-lightning
lightning-bolts

Die Verzeichnisstruktur sollte wie folgt aussehen:

├── pytorch_training_launcher_jupyter_notebook.ipynb
└── sub-folder-for-your-code
    ├──  adapted-training-script.py
    └──  requirements.txt

Weitere Informationen zur Angabe des Quellverzeichnisses, in dem die requirements.txt Datei zusammen mit Ihrem Trainingsskript und einer Auftragsübermittlung platziert werden soll, finden Sie unter Verwenden von Drittanbieterbibliotheken in der Amazon SageMaker AI Python SDK-Dokumentation.

Überlegungen zur Aktivierung kollektiver SMDDP-Operationen und zur Verwendung der richtigen Launcher-Optionen für verteiltes Training

  • SMDDP AllReduce und SMDDP AllGather sind derzeit nicht miteinander kompatibel.

  • SMDDP AllReduce ist standardmäßig aktiviert, wenn die mpirun-basierten Launcher smdistributed oder pytorchddp und NCCL AllGather verwendet werden.

  • SMDDP AllGather ist standardmäßig aktiviert, wenn der torch_distributed-Launcher verwendet wird und AllReduce auf NCCL zurückgreift.

  • SMDDP AllGather kann auch aktiviert werden, wenn die mpirun-basierten Launcher mit einer zusätzlichen Umgebungsvariablen wie folgt verwendet werden.

    export SMDATAPARALLEL_OPTIMIZE_SDP=true