Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Langkah 2: Luncurkan Pekerjaan Pelatihan Menggunakan SageMaker Python SDK

SageMaker Python SDK mendukung pelatihan model terkelola dengan kerangka kerja ML seperti TensorFlow dan PyTorch. Untuk meluncurkan pekerjaan pelatihan menggunakan salah satu kerangka kerja ini, Anda menentukan estimator, SageMaker TensorFlow estimator, atau SageMaker PyTorch Estimator SageMaker generik https://sagemaker.readthedocs.io/en/stable/api/sagemaker_train.html untuk menggunakan skrip pelatihan yang dimodifikasi dan konfigurasi paralelisme model.

Menggunakan SageMaker TensorFlow dan E PyTorch stimator

Kelas TensorFlow dan PyTorch estimator berisi distribution parameter, yang dapat Anda gunakan untuk menentukan parameter konfigurasi untuk menggunakan kerangka pelatihan terdistribusi. P SageMaker ustaka paralel model secara internal menggunakan MPI untuk data hibrida dan paralelisme model, jadi Anda harus menggunakan opsi MPI dengan pustaka.

Template PyTorch estimator TensorFlow atau berikut menunjukkan cara mengkonfigurasi distribution parameter untuk menggunakan pustaka paralel SageMaker model dengan MPI.

import sagemaker
from sagemaker.train import ModelTrainer
from sagemaker.train.configs import SourceCode, Compute
from sagemaker.train.distributed import Torchrun
from sagemaker.core.helper.session_helper import get_execution_role
from sagemaker.core import image_uris

training_image = image_uris.retrieve(
    framework="tensorflow", region=region, version='2.6.3',
    py_version='py38', instance_type='ml.p3.16xlarge',
    image_scope="training"
)

smd_mp_model_trainer = ModelTrainer(
    source_code=SourceCode(entry_script="your_training_script.py", source_dir="location_to_your_script"),
    role=get_execution_role(),
    compute=Compute(instance_count=1, instance_type='ml.p3.16xlarge'),
    training_image=training_image,
    distributed=Torchrun(),
    base_job_name="SMD-MP-demo",
)

smd_mp_model_trainer.train('s3://my_bucket/my_training_data/')

Untuk mengaktifkan perpustakaan, Anda perlu meneruskan kamus konfigurasi ke "mpi" kunci "smdistributed" dan melalui distribution argumen konstruktor SageMaker estimator.

Untuk meluncurkan pekerjaan pelatihan menggunakan estimator dan skrip pelatihan yang dikonfigurasi secara paralel SageMaker model Anda, jalankan fung estimator.fit() sinya.

Gunakan sumber daya berikut untuk mempelajari lebih lanjut tentang menggunakan fitur paralelisme model di SageMaker Python SDK:

Memperpanjang Container Pre-built Docker yang Berisi Pustaka SageMaker Paralel Model Terdistribusi

Untuk memperluas wadah pra-bangun dan menggunakan pustaka SageMaker paralelisme model, Anda harus menggunakan salah satu gambar AWS Deep Learning Containers (DLC) yang tersedia untuk atau. PyTorch TensorFlow Pust SageMaker aka paralelisme model disertakan dalam gambar DLC TensorFlow (2.3.0 dan yang lebih baru) dan PyTorch (1.6.0 dan yang lebih baru) dengan CUDA (). cuxyz Untuk daftar lengkap gambar DLC, lihat Gambar Wadah Pembelajaran Mendalam yang Tersedia di GitHub repositori AWS Deep Learning Containers.

Misalnya, Dockerfile Anda harus berisi FROM pernyataan yang mirip dengan berikut ini:

# Use the SageMaker DLC image URI for TensorFlow or PyTorch
FROM aws-dlc-account-id.dkr.ecr.aws-region.amazonaws.com/framework-training:{framework-version-tag}

# Add your dependencies here
RUN ...

ENV PATH="/opt/ml/code:${PATH}"

# this environment variable is used by the SageMaker AI container to determine our user code directory.
ENV SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/code

Selain itu, ketika Anda mendefinisikan PyTorch atau TensorFlow estimator, Anda harus menentukan itu entry_point untuk skrip pelatihan Anda. Ini harus menjadi jalur yang sama yang diidentifikasi ENV SAGEMAKER_SUBMIT_DIRECTORY di Dockerfile Anda.

Setelah Anda selesai menghosting wadah Docker dan mengambil URI gambar dari wadah, buat objek SageMaker PyTorch estimator sebagai berikut. Contoh ini mengasumsikan bahwa Anda telah mendefinisikan smp_options danmpi_options.

smd_mp_estimator = Estimator(
    entry_point="your_training_script.py",
    role=sagemaker.get_execution_role(),
    instance_type='ml.p3.16xlarge',
    sagemaker_session=sagemaker_session,
    image_uri='your_aws_account_id.dkr.ecr.region.amazonaws.com/name:tag'
    instance_count=1,
    distribution={
        "smdistributed": smp_options,
        "mpi": mpi_options
    },
    base_job_name="SMD-MP-demo",
)

smd_mp_estimator.fit('s3://my_bucket/my_training_data/')

Buat Container Docker Anda Sendiri dengan Pustaka Paral SageMaker el Model Terdistribusi

Untuk membangun wadah Docker Anda sendiri untuk pelatihan dan menggunakan pustaka paralel SageMaker model, Anda harus menyertakan dependensi yang benar dan file biner dari pustaka paralel terdistribusi SageMaker di Dockerfile Anda. Bagian ini menyediakan kumpulan blok kode minimum yang harus Anda sertakan untuk mempersiapkan lingkungan SageMaker pelatihan dan pustaka paralel model dengan benar di wadah Docker Anda sendiri.