Mulailah dengan pelatihan terdistribusi di Amazon SageMaker AI

Halaman berikut memberikan informasi tentang langkah-langkah yang diperlukan untuk memulai pelatihan terdistribusi di Amazon SageMaker AI. Jika Anda sudah terbiasa dengan pelatihan terdistribusi, pilih salah satu opsi berikut yang sesuai dengan strategi atau kerangka kerja pilihan Anda untuk memulai. Jika Anda ingin belajar tentang pelatihan terdistribusi secara umum, lihatKonsep pelatihan terdistribusi.

Pustaka pelatihan terdistribusi SageMaker AI dioptimalkan untuk lingkungan SageMaker pelatihan, membantu menyesuaikan pekerjaan pelatihan terdistribusi Anda dengan SageMaker AI, dan meningkatkan kecepatan dan throughput pelatihan. Perpustakaan menawarkan strategi pelatihan paralel data dan model paralel. Mereka menggabungkan teknologi perangkat lunak dan perangkat keras untuk meningkatkan komunikasi antar-GPU dan antar-simpul, dan memperluas kemampuan pelatihan SageMaker AI dengan opsi bawaan yang memerlukan perubahan kode minimal pada skrip pelatihan Anda. 

Sebelum Anda memulai

SageMaker Pelatihan mendukung pelatihan terdistribusi pada satu instans serta beberapa instance, sehingga Anda dapat menjalankan berbagai ukuran pelatihan dalam skala besar. Kami menyarankan Anda untuk menggunakan kelas estimator kerangka kerja seperti PyTorchdan TensorFlowdi SageMaker Python SDK, yang merupakan peluncur pekerjaan pelatihan dengan berbagai opsi pelatihan terdistribusi. Saat Anda membuat objek estimator, objek akan menyiapkan infrastruktur pelatihan terdistribusi, menjalankan CreateTrainingJob API di backend, menemukan Wilayah tempat sesi Anda berjalan, dan menarik salah satu wadah pembelajaran AWS mendalam yang telah dibuat sebelumnya yang dikemas dengan sejumlah pustaka termasuk kerangka kerja pembelajaran mendalam, kerangka kerja pelatihan terdistribusi, dan driver EFA. Jika Anda ingin memasang sistem FSx file ke instance pelatihan, Anda harus meneruskan subnet VPC dan ID grup keamanan Anda ke estimator. Sebelum menjalankan pekerjaan pelatihan terdistribusi Anda di SageMaker AI, baca panduan umum berikut tentang pengaturan infrastruktur dasar.

Zona ketersediaan dan backplane jaringan

Saat menggunakan beberapa instance (juga disebut node), penting untuk memahami jaringan yang menghubungkan instance, bagaimana mereka membaca data pelatihan, dan bagaimana mereka berbagi informasi di antara mereka sendiri. Misalnya, saat Anda menjalankan tugas pelatihan paralel data terdistribusi, sejumlah faktor, seperti komunikasi antara node cluster komputasi untuk menjalankan AllReduce operasi dan transfer data antara node dan penyimpanan data di Amazon Simple Storage Service atau Amazon FSx for Lustre, memainkan peran penting untuk mencapai penggunaan sumber daya komputasi yang optimal dan kecepatan pelatihan yang lebih cepat. Untuk mengurangi overhead komunikasi, pastikan Anda mengonfigurasi instance, subnet VPC, dan penyimpanan data di Availability Zone yang sama. Wilayah AWS

Instans GPU dengan jaringan yang lebih cepat dan penyimpanan throughput tinggi

Anda secara teknis dapat menggunakan instance apa pun untuk pelatihan terdistribusi. Untuk kasus di mana Anda perlu menjalankan pekerjaan pelatihan terdistribusi multi-node untuk melatih model besar, seperti model bahasa besar (LLMs) dan model difusi, yang memerlukan pergantian antar-node yang lebih cepat, kami merekomendasikan instance GPU berkemampuan EFA yang didukung oleh AI. SageMaker Khususnya, untuk mencapai pekerjaan pelatihan terdistribusi yang paling berkinerja di SageMaker AI, kami merekomendasikan instans P4d dan P4de yang dilengkapi dengan NVIDIA A100. GPUs Ini juga dilengkapi dengan penyimpanan instans lokal latensi rendah throughput tinggi dan jaringan intra-node yang lebih cepat. Untuk penyimpanan data, kami merekomendasikan Amazon FSx untuk Lustre yang menyediakan throughput tinggi untuk menyimpan kumpulan data pelatihan dan pos pemeriksaan model.

Gunakan pustaka paralelisme data terdistribusi SageMaker AI (SMDDP)

Pustaka SMDDP meningkatkan komunikasi antar node dengan implementasi AllReduce dan operasi komunikasi AllGather kolektif yang dioptimalkan untuk infrastruktur AWS jaringan dan topologi instans Amazon SageMaker AI ML. Anda dapat menggunakan pustaka SMDDP sebagai backend paket pelatihan terdistribusi PyTorch berbasis: distributed PyTorch data parallel (DDP), PyTorch full sharded data parallelism (FSDP), dan Megatron-. DeepSpeedDeepSpeed Contoh kode berikut menunjukkan cara mengatur PyTorch estimator untuk meluncurkan pekerjaan pelatihan terdistribusi pada dua ml.p4d.24xlarge instance.

from sagemaker.pytorch import PyTorch

estimator = PyTorch(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    # Activate distributed training with SMDDP
    distribution={ "pytorchddp": { "enabled": True } }  # mpirun, activates SMDDP AllReduce OR AllGather
    # distribution={ "torch_distributed": { "enabled": True } }  # torchrun, activates SMDDP AllGather
    # distribution={ "smdistributed": { "dataparallel": { "enabled": True } } }  # mpirun, activates SMDDP AllReduce OR AllGather
)

Untuk mempelajari cara menyiapkan skrip pelatihan Anda dan meluncurkan pekerjaan pelatihan paralel data terdistribusi tentang SageMaker AI, lihat. Jalankan pelatihan terdistribusi dengan perpustakaan paralelisme data terdistribusi SageMaker AI

Gunakan perpustakaan paralelisme model SageMaker AI (SMP)

SageMaker AI menyediakan perpustakaan SMP dan mendukung berbagai teknik pelatihan terdistribusi, seperti paralelisme data sharded, pipelining, paralelisme tensor, sharding status pengoptimal, dan banyak lagi. Untuk mempelajari lebih lanjut tentang apa yang ditawarkan perpustakaan SMP, lihatFitur Inti dari Perpustakaan Paralelisme SageMaker Model.

Untuk menggunakan pustaka paralelisme model SageMaker AI, konfigurasikan distribution parameter estimator kerangka kerja SageMaker AI. Estimator kerangka kerja yang didukung adalah PyTorchdan TensorFlow. Contoh kode berikut menunjukkan bagaimana membangun estimator kerangka kerja untuk pelatihan terdistribusi dengan pustaka paralelisme model pada dua instance. ml.p4d.24xlarge

from sagemaker.framework import Framework

distribution={
    "smdistributed": {
        "modelparallel": {
            "enabled":True,
            "parameters": {
                ...   # enter parameter key-value pairs here
            }
        },
    },
    "mpi": {
        "enabled" : True,
        ...           # enter parameter key-value pairs here
    }
}

estimator = Framework(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    distribution=distribution
)

Untuk mempelajari cara mengadaptasi skrip pelatihan Anda, mengonfigurasi parameter distribusi di estimator kelas, dan meluncurkan tugas pelatihan terdistribusi, lihat perpustakaan paralelisme model SageMaker AI (lihat juga Pelatihan Terdistribusi APIs dalam dokumentasi SageMaker Python SDK).

Gunakan kerangka kerja pelatihan terdistribusi open source

SageMaker AI juga mendukung opsi berikut untuk beroperasi mpirun dan torchrun di backend.