View a markdown version of this page

Pengoptimal State Sharding - Amazon SageMaker AI
Cara Menggunakan Optimizer State Sharding

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pengoptimal State Sharding

Sharding status pengoptimal adalah teknik hemat memori yang berguna yang memecah status pengoptimal (kumpulan bobot yang menggambarkan status pengoptimal) di seluruh grup perangkat paralel data. Anda dapat menggunakan sharding status pengoptimal setiap kali Anda menggunakan pengoptimal stateful (seperti Adam) atau pengoptimal FP16 (yang menyimpan salinan parameter FP16 dan FP32).

catatan

Sharding status pengoptimal tersedia untuk PyTorch di pustaka paralelisme SageMaker model v1.6.0 dan yang lebih baru.

Cara Menggunakan Optimizer State Sharding

Anda dapat mengaktifkan sharding status pengoptimal dengan menyetel "shard_optimizer_state": True dalam konfigurasi. modelparallel

Ketika fitur ini dihidupkan, perpustakaan mempartisi kumpulan parameter model berdasarkan derajat paralelisme data. Gradien yang sesuai dengan partisi i ke-h berkurang hanya pada peringkat paralel data i ke-th. Pada akhir panggilan pertama ke fungsi smp.step dekorator, pengoptimal dibungkus dengan smp.DistributedOptimizer mendefinisikan ulang parameternya agar hanya terbatas pada parameter yang sesuai dengan partisi peringkat paralel data saat ini. Parameter yang didefinisikan ulang disebut parameter virtual dan berbagi penyimpanan yang mendasarinya dengan parameter asli. Selama panggilan pertama keoptimizer.step, status pengoptimal dibuat berdasarkan parameter yang didefinisikan ulang ini, yang dipecah karena partisi asli. Setelah pembaruan pengoptimal, AllGather operasi (sebagai bagian dari optimizer.step panggilan) berjalan melintasi peringkat paralel data untuk mencapai status parameter yang konsisten.

Tip

Pengoptimalan status sharding dapat berguna ketika tingkat paralelisme data lebih besar dari 1 dan model memiliki lebih dari satu miliar parameter.

Tingkat paralelisme data dihitung oleh(processes_per_host * instance_count / pipeline_parallel_degree), dan smp.dp_size() fungsi menangani ukuran di latar belakang.

Konfigurasikan a SageMaker PyTorch ModelTrainer 

mpi_options = {
    "enabled" : True,
    "processes_per_host" : 8,               # 8 processes
    "custom_mpi_options" : "--mca btl_vader_single_copy_mechanism none "
}

smp_options = {
    "enabled":True,
    "parameters": {
        "microbatches": 4,
        "pipeline_parallel_degree": 2,    # alias for "partitions"
        "placement_strategy": "cluster",
        "tensor_parallel_degree": 2,      # tp over 2 devices
        "ddp": True,
        "shard_optimizer_state": True
    }
}

Sesuaikan skrip PyTorch pelatihan Anda

Lihat Meng adaptasi skrip PyTorch pelatihan Anda di Paralel isme Tensor dikombinasikan dengan bagian paralelisme pipa. Tidak ada modifikasi tambahan yang diperlukan untuk skrip.