Gunakan estimator PyTorch kerangka kerja di SageMaker Python SDK

Anda dapat meluncurkan pelatihan terdistribusi dengan menambahkan distribution argumen ke estimator PyTorch kerangka kerja SageMaker AI. Pust SageMaker aka paralelisme data terdistribusi AI (SMDDP) mendukung pelatihan terdistribusi. PyTorch

Opsi peluncur berikut tersedia untuk meluncurkan pelatihan PyTorch terdistribusi.

Jika Anda memilih untuk mengganti NCCL AllGather ke SMDDPAllGather, Anda dapat menggunakan ketiga opsi. Pilih satu opsi yang sesuai dengan kasus penggunaan Anda.

Jika Anda memilih untuk mengganti NCCL AllReduce dengan SMDDPAllReduce, Anda harus memilih salah satu opsi mpirun berbasis: atau. smdistributed pytorchddp Anda juga dapat menambahkan opsi MPI tambahan sebagai berikut.

{ 
    "pytorchddp": {
        "enabled": True, 
        "custom_mpi_options": "-verbose -x NCCL_DEBUG=VERSION"
    }
}

{ 
    "smdistributed": { 
        "dataparallel": {
            "enabled": True, 
            "custom_mpi_options": "-verbose -x NCCL_DEBUG=VERSION"
        }
    }
}

Contoh kode berikut menunjukkan struktur dasar ModelTrainer dengan opsi pelatihan terdistribusi.

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import SourceCode, Compute, InputData
from sagemaker.core import image_uris

# Retrieve the training image for the desired PyTorch version
training_image = image_uris.retrieve(
    framework="pytorch",
    region="us-west-2",
    version="2.0.1",
    py_version="py310",
    instance_type="ml.p4d.24xlarge",
    image_scope="training"
)

source_code = SourceCode(
    source_dir="subdirectory-to-your-code",
    entry_script="adapted-training-script.py"
)

compute = Compute(
    # For running a multi-node distributed training job, specify a value greater than 1
    # Example: 2,3,4,..8
    instance_count=2,

    # Instance types supported by the SageMaker AI data parallel library: 
    # ml.p4d.24xlarge, ml.p4de.24xlarge
    instance_type="ml.p4d.24xlarge"
)

pt_model_trainer = ModelTrainer(
    training_image=training_image,
    base_job_name="training_job_name_prefix",
    source_code=source_code,
    role="SageMakerRole",
    compute=compute,

    # Activate distributed training with SMDDP
    distribution={ "pytorchddp": { "enabled": True } }  # mpirun, activates SMDDP AllReduce OR AllGather
    # distribution={ "torch_distributed": { "enabled": True } }  # torchrun, activates SMDDP AllGather
    # distribution={ "smdistributed": { "dataparallel": { "enabled": True } } }  # mpirun, activates SMDDP AllReduce OR AllGather
)

pt_model_trainer.train(input_data_config=[
    InputData(channel_name="training", data_source="s3://bucket/path/to/training/data")
])

# requirements.txt
pytorch-lightning
lightning-bolts

├── pytorch_training_launcher_jupyter_notebook.ipynb
└── sub-folder-for-your-code
    ├──  adapted-training-script.py
    └──  requirements.txt